Îți prezentăm GeneBench-Pro
Un test de performanță la nivel de cercetare care măsoară modul în care agenții IA gestionează ambiguitatea și iau decizii cu implicații importante în domeniul biologiei computaționale.
Datele științifice vin rareori însoțite de instrucțiuni. Cercetătorii trebuie să decidă dacă o tendință reflectă realitatea biologică sau este doar întâmplătoare, dacă datele pot susține întrebarea pusă și în ce măsură fiecare rezultat ar trebui să le modifice pașii următori. Agenții de IA sunt tot mai capabili să efectueze analize complexe, dar cercetarea științifică adevărată nu depinde doar de reamintirea unor fapte sau de urmarea unui flux de lucru predefinit, ci și de formularea acestor judecăți de ordin superior.
Astăzi lansăm GeneBench-Pro, un test de performanță dificil, la nivel de cercetare, pentru a testa dacă modelele pot gestiona analiza bazată pe judecată pe care o cere biologia computațională reală. Acesta extinde GeneBench(se deschide într-o fereastră nouă) pentru a acoperi sarcini mai grele și mai realiste în genomică, biologie cantitativă și medicină translațională, surprinzând complexitatea, caracterul iterativ și ambiguitatea cercetării științifice în biologia computațională.
Până în prezent, au existat puține evaluări convingătoare ale deciziilor luate la nivel de sistem care îngreunează cercetarea computațională în lumea reală. Printre acestea se numără gestionarea ambiguității, revizuirea ipotezelor, alegerea căii corecte de analiză și capacitatea de a recunoaște momentul în care un rezultat este gata pentru luarea unei decizii. Deoarece aceste competențe sunt greu de formalizat, ele sunt, de asemenea, greu de evaluat riguros, chiar dacă deficiențele lor limitează din ce în ce mai mult performanța generală a IA.
GeneBench-Pro este conceput pentru a măsura cu precizie aceste capacități de nivel superior. În cadrul GeneBench-Pro, definim „simțul cercetării” ca fiind lanțurile de decizii subiective care modelează o analiză: ce întrebări pot fi susținute de date, cum ar trebui ca diagnosticarea timpurie să modifice modelul sau estimarea și când trebuie revizuit un plan inițial. Fiecare problemă din GeneBench-Pro îi oferă modelului un set de date realist și complex, un context experimental succint și o estimare țintă legată de o decizie ulterioară. Pentru a răspunde corect, modelul trebuie să exploreze datele, să aleagă o abordare analitică adecvată, să se angajeze într-un proces iterativ de experimentare și să furnizeze un răspuns final.
În biologie, costul generării datelor (de ex., secvențierea genomului) a scăzut dramatic, iar unii cercetători susțin acum(se deschide într-o fereastră nouă) că factorul limitativ nu mai este colectarea probelor, ci calculul și analizele ulterioare. GeneBench-Pro este construit pentru a evalua progresul în depășirea acestui blocaj, cu 129 de întrebări care acoperă o gamă largă de contexte și metode din biologia computațională.
Atlasul domeniilor: 129 probleme în 10 domenii și 21 subdomenii
Fă clic pe un punct de mai sus pentru a afla despre o problemă de referință.
Acest atlas oferă o previzualizare a amplorii GeneBench-Pro. Vizitează pagina cu studii de caz pentru a explora mai detaliat 10 întrebări reprezentative.
GeneBench-Pro este conceput și pentru a evita eșecurile frecvente ale testelor de performanță. Multe teste de performanță din biologie pe termen lung construiesc întrebări în mai mulți pași pe baza unor seturi de date istorice dezordonate, în care s-ar putea să nu existe o singură cale corectă de parcurs în cadrul analizei. Un agent ar putea alege un prag justificabil, în timp ce altul ar putea opta pentru o variantă diferită, dar la fel de justificabilă, ceea ce reflectă mai degrabă alegerile arbitrare făcute de creatorul testului de performanță decât diferențe fundamentale în performanța modelului. Se poate întâmpla și invers: dacă o problemă este prea puțin sensibilă la valorile numerice, un agent poate comite erori fundamentale în cadrul unei analize și totuși să obțină un rezultat care să îndeplinească criteriile de promovare.
Pentru a evita aceste moduri de eșec, fiecare problemă GeneBench-Pro este construită sintetic: cunoaștem structura cauzală completă și simulăm direct procesul de generare a datelor. Acest lucru ne permite să ajustăm complexitatea fiecărei probleme, să ne asigurăm că diferențele rezonabile în alegerile analitice subiective produc în continuare rezultate numerice acceptabile și să verificăm (prin studii de ablație) că analizele plauzibile, dar incorecte, eșuează. Apoi, verificăm schițele problemelor prin analize detaliate ale traseelor pentru a depista eventualele scurgeri de informații și căile de soluționare neintenționate. Acest lucru ne oferă încrederea că obținerea răspunsului corect depinde de alegerea căii analitice corecte și nu de exploatarea unei scurtături sau de respectarea unei preferințe arbitrare a autorului.
Am trimis 82 dintre cele 129 de întrebări GeneBench-Pro către experți externi în domeniu, inclusiv studenți la studii postuniversitare, cercetători postdoctorali, cercetători din domeniu și profesori universitari. Evaluatorii au analizat realismul fiecărei probleme, dacă răspunsul-țintă era identificabil și dacă metodele și estimatorii erau adecvați. Feedbackul a fost folosit pentru a îmbunătăți problemele.
“Problemele pe care le-am analizat ar fi fost dificil de rezolvat pentru un student postuniversitar fără feedback iterativ din partea unui supervizor experimentat. Datele conțineau probleme tehnice și de control al calității care necesitau o analiză atentă și reflexivă a datelor, conștientă de potențialele capcane pentru a fi finalizate cu succes; nu se aplicau pur și simplu o metodă standard pentru a obține date curate și bine selectate.”
“Chiar dacă modelele actuale nu pot rula fiabil analize independente de la început până la sfârșit, cele care se descurcă bine la problemele GeneBench-Pro ar putea ajuta clar cercetătorii să stabilească fluxuri de lucru corecte și să exploreze datele. Îmi imaginez că asta ar îmbunătăți mult ritmul, rigurozitatea și reproductibilitatea cercetării.”
Fiecare problemă GeneBench-Pro este o analiză științifică de sine stătătoare. Agenții primesc acces la un spațiu de lucru izolat, cu o solicitare scurtă, fișiere de date și o stivă bioinformatică standard, incluzând Python, biblioteci de calcul științific și pachete genomice de bază precum PLINK 2.0 (deși problemele nu necesită instrumente specifice domeniului).
Decizie privind raportul beneficiu-risc pentru terapia tumorală ghidată de variante structurale
Deoarece controlăm întregul proces de generare a datelor, putem evalua corectitudinea în mod determinist în raport cu ținte cunoscute, evitând variabilitatea alegerii modelului și efectele de verbozitate întâlnite în evaluările standard bazate pe rubrici.
Fiecare problemă este, de asemenea, însoțită de metadate bogate, inclusiv structura de analiză prevăzută, fișierele de date atașate, un studiu de caz detaliat, de mai multe pagini, și rezultatele evaluării de către experți. Publicăm integral ca open source 10 întrebări reprezentative GeneBench-Pro pe Hugging Face(se deschide într-o fereastră nouă), împreună cu o interfață web interactivă pentru a le explora. În cele din urmă, vom pune la dispoziția Artificial Analysis(se deschide într-o fereastră nouă) un subset de 50 de întrebări pentru evaluare independentă, realizată de o terță parte, în viitorul apropiat.
Cel mai puternic model al nostru, GPT‑5.6 Sol, atinge o rată de promovare de 28,7% la cel mai înalt nivel de raţionament (31,5 % cu modul Pro activat). Aceasta reprezintă o creștere accentuată față de momentul în care am început să construim GeneBench original; la acea vreme, cel mai bun model de vârf al nostru, GPT‑5, a obținut un scor sub 5%. Progresele înregistrate în cadrul acestui test de performanță sugerează că modelele de vârf se îmbunătățesc rapid, chiar și în privința raționamentului științific mai puțin tangibil, la nivel de sistem. La ritmul actual, acest test de performanță ar putea ajunge la saturație până la sfârșitul anului.
Rezultatele arată, de asemenea, impactul scalării resurselor de calcul la momentul testării. La cel mai scăzut nivel de raţionament, GPT‑5.6 Sol obține o rată de promovare de doar o singură cifră. La cel mai înalt nivel de raţionament, GPT‑5.6 Sol rezolvă de aproape șase ori mai multe întrebări decât GPT‑5.2, folosind aproximativ două treimi din numărul de tokenuri.
Comparațiile între familiile de modele sugerează că modelele GPT se numără printre cele mai performante sisteme în materie de raționament științific la nivel înalt în condiții de incertitudine cantitativă. Diferența de performanță dintre GPT‑5.6, GPT‑5.5 și principalele modele open-source, cum ar fi GLM 5.2, sunt semnificativ mai mari decât ne-am aștepta la extrapolarea din testele de performanță de programare(se deschide într-o fereastră nouă), ceea ce indică faptul că modelele open-source sunt mai specializate pentru programare decât pentru capacitatea de raționament mai largă.
Am folosit modelul GPT de vârf pentru a evalua și consolida problemele pe parcursul dezvoltării. Ca atare, am suspectat că GeneBench-Pro ar putea fi părtinitor în defavoarea modelelor GPT, în raport cu alte familii de modele. Cu toate acestea, modelele concurente au egalat, în cel mai bun caz, performanța modelului GPT corespunzător la momentul lansării și au avut tendința de a rămâne considerabil în urmă.
Aceste rezultate de evaluare — de până la 31,5% în cazul GPT‑5.6 Sol (Pro) — sunt remarcabile, având în vedere dificultatea întrebărilor GeneBench-Pro. Într-un sondaj, evaluatorii noștri au estimat că rezolvarea unei probleme tipice GeneBench-Pro i-ar lua unui expert uman aproximativ 20–40 de ore. La o estimare conservatoare de 200 USD pe oră, asta duce costul muncii umane pentru o singură problemă la ordinul miilor de dolari. Agenții de IA actuali sunt încă prea puțin fiabili pentru a înlocui experții umani, dar diferența de cost este semnificativă, costurile de inferență fiind de doar câțiva dolari pe problemă. Asta înseamnă că până și automatizarea parțială, la nivelul capacităților actuale, ar putea crea valoare economică și științifică semnificativă.
“Testele de performanță sunt motivate de o gamă variată de întrebări biologice, dar… adevărata provocare provine din analiza exploratorie a datelor și din raționamentul bazat pe aceste descoperiri: identificarea tiparelor și a artefactelor, precum și luarea deciziei dacă datele ar trebui excluse sau ajustate. Acest lucru se aseamănă cu natura dezordonată a seturilor de date biologice reale. Analiza acestor evaluări evidențiază cât de importante sunt contractele clare ale solverului pentru rezolvarea problemelor științifice bazate pe agenți. Formularea diferită a solicitărilor sau specificațiile diferite ale sarcinii pot influența semnificativ ce analize par permise.”
“Mi-au plăcut [întrebările] în mare parte. Au inclus un amestec de: (1) cunoștințe necesare despre subiect, cum ar fi biasul C>T în ADN-ul antic, (2) discrepanțe ale datelor, cum ar fi inversări ale descendenței, (3) un anumit nivel de cunoaștere a instrumentelor analitice potrivite pentru sarcină și a modului de implementare a acestora. Părea că majoritatea agenților au eșuat la (2). Nu sunt suficient de prudenți în privința problemelor legate de date. Poate că asta evidențiază o slăbiciune a modelelor actuale. Iar o mare parte din datele biologice prezintă neregularități.”
Totuși, faptul că modelele de vârf rezolvă în continuare mai puțin de o treime dintre aceste probleme arată că există posibilități substanțiale de îmbunătățire. Modelele pot face progrese parțiale în cazul problemelor dificile, dar întâmpină dificultăți în a închide bucla inferențială. Acest tipar de eșec reflectă contrastul dintre experții umani și începători. Experții își folosesc experiența pentru a formula problema și a-și adapta abordarea, în timp ce începătorii fac observații, dar au dificultăți în a le integra în contextul mai larg al problemei.
Problema: răspunsul farmacogenomic de tip „timp până la eveniment” în cazul unui tratament cu evoluție în timp
Tipar GPT-5.5
Tipar GPT-5.6 Sol
Obținerea unei performanțe aproape perfecte va necesita evaluări care să măsoare în mod fiabil progresul și să identifice unde modelele încă dau greș. Testele de performanță precum GeneBench-Pro pot ajuta la transformarea unei deficiențe neclare de capabilitate în ceva ce putem diagnostica și îmbunătăți.
Dacă agenții ar putea automatiza în mod fiabil acest tip de analiză, ar putea accelera semnificativ descoperirile științifice. Datele genetice umane joacă deja un rol central în stabilirea priorităților și în urmărirea translațională, deoarece mecanismele susținute genetic au șanse mult mai mari de a conduce la tratamente aprobate.
Între timp, costurile secvențierii au scăzut drastic, iar seturile de date la scara biobăncilor corelează acum informații moleculare, fenotipice și din dosarele medicale la o amploare fără precedent. Factorul limitativ constă în trecerea de la generarea de date la transformarea informațiilor în informații utile. Modelele care pot efectua în mod constant analize, gestionate acum de echipe de experți umani, ar putea transforma cercetarea industrială prin accelerarea trierii ipotezelor, urmăririi țintelor și ciclului de iterație dintre generarea de date și luarea deciziilor.
GeneBench-Pro reprezintă un efort inițial de a evalua competențele mai abstracte implicate în judecata științifică solidă, deținute de cei cu experiență. Aceste abilități le permit să intuiască și să identifice cele mai promițătoare analize inițiale, să itereze și să-și revizuiască raționamentul atunci când datele contrazic ipotezele inițiale și să ajungă la concluzii de care pot depinde deciziile clinice, academice sau de afaceri ulterioare.
Preconizăm că, pe măsură ce capacitățile modelelor vor avansa, testele de performanță care evaluează abilitățile modelelor la aceste niveluri superioare de abstractizare vor deveni din ce în ce mai utile, depășind cadrul celor care se limitează la testarea cunoștințelor teoretice sau a capacității de a efectua analize de rutină.
