Îți prezentăm GeneBench-Pro
Un test de performanță la nivel de cercetare care măsoară modul în care agenții IA gestionează ambiguitatea și iau decizii cu implicații importante în domeniul biologiei computaționale.
Datele științifice vin rareori însoțite de instrucțiuni. Cercetătorii trebuie să decidă dacă o tendință reflectă realitatea biologică sau este doar întâmplătoare, dacă datele pot susține întrebarea pusă și în ce măsură fiecare rezultat ar trebui să le modifice pașii următori. Agenții de IA sunt tot mai capabili să efectueze analize complexe, dar cercetarea științifică adevărată nu depinde doar de reamintirea unor fapte sau de urmarea unui flux de lucru predefinit, ci și de formularea acestor judecăți de ordin superior.
Astăzi lansăm GeneBench-Pro, un test de performanță dificil, la nivel de cercetare, pentru a testa dacă modelele pot gestiona analiza bazată pe judecată pe care o cere biologia computațională reală. Acesta extinde GeneBench(se deschide într-o fereastră nouă) pentru a acoperi sarcini mai grele și mai realiste în genomică, biologie cantitativă și medicină translațională, surprinzând complexitatea, caracterul iterativ și ambiguitatea cercetării științifice în biologia computațională.
Până în prezent, au existat puține evaluări convingătoare ale deciziilor luate la nivel de sistem care îngreunează cercetarea computațională în lumea reală. Printre acestea se numără gestionarea ambiguității, revizuirea ipotezelor, alegerea căii corecte de analiză și capacitatea de a recunoaște momentul în care un rezultat este gata pentru luarea unei decizii. Deoarece aceste competențe sunt greu de formalizat, ele sunt, de asemenea, greu de evaluat riguros, chiar dacă deficiențele lor limitează din ce în ce mai mult performanța generală a IA.
GeneBench-Pro este conceput pentru a măsura cu precizie aceste capacități de nivel superior. În cadrul GeneBench-Pro, definim „simțul cercetării” ca fiind lanțurile de decizii subiective care modelează o analiză: ce întrebări pot fi susținute de date, cum ar trebui ca diagnosticarea timpurie să modifice modelul sau estimarea și când trebuie revizuit un plan inițial. Fiecare problemă din GeneBench-Pro îi oferă modelului un set de date realist și complex, un context experimental succint și o estimare țintă legată de o decizie ulterioară. Pentru a răspunde corect, modelul trebuie să exploreze datele, să aleagă o abordare analitică adecvată, să se angajeze într-un proces iterativ de experimentare și să furnizeze un răspuns final.
În biologie, costul generării datelor (de ex., secvențierea genomului) a scăzut dramatic, iar unii cercetători susțin acum(se deschide într-o fereastră nouă) că factorul limitativ nu mai este colectarea probelor, ci calculul și analizele ulterioare. GeneBench-Pro este construit pentru a evalua progresul în depășirea acestui blocaj, cu 129 de întrebări care acoperă o gamă largă de contexte și metode din biologia computațională.
Atlasul domeniilor: 129 probleme în 10 domenii și 21 subdomenii
Fă clic pe un punct de mai sus pentru a afla despre o problemă de referință.
Acest atlas oferă o previzualizare a amplorii GeneBench-Pro. Vizitează pagina cu studii de caz pentru a explora mai detaliat 10 întrebări reprezentative.
GeneBench-Pro este conceput și pentru a evita eșecurile frecvente ale testelor de performanță. Multe teste de performanță din biologie pe termen lung construiesc întrebări în mai mulți pași pe baza unor seturi de date istorice dezordonate, în care s-ar putea să nu existe o singură cale corectă de parcurs în cadrul analizei. Un agent ar putea alege un prag justificabil, în timp ce altul ar putea opta pentru o variantă diferită, dar la fel de justificabilă, ceea ce reflectă mai degrabă alegerile arbitrare făcute de creatorul testului de performanță decât diferențe fundamentale în performanța modelului. Se poate întâmpla și invers: dacă o problemă este prea puțin sensibilă la valorile numerice, un agent poate comite erori fundamentale în cadrul unei analize și totuși să obțină un rezultat care să îndeplinească criteriile de promovare.
Pentru a evita aceste moduri de eșec, fiecare problemă GeneBench-Pro este construită sintetic: cunoaștem structura cauzală completă și simulăm direct procesul de generare a datelor. Acest lucru ne permite să ajustăm complexitatea fiecărei probleme, să ne asigurăm că diferențele rezonabile în alegerile analitice subiective produc în continuare rezultate numerice acceptabile și să verificăm (prin studii de ablație) că analizele plauzibile, dar incorecte, eșuează. Apoi, verificăm schițele problemelor prin analize detaliate ale traseelor pentru a depista eventualele scurgeri de informații și căile de soluționare neintenționate. Acest lucru ne oferă încrederea că obținerea răspunsului corect depinde de alegerea căii analitice corecte și nu de exploatarea unei scurtături sau de respectarea unei preferințe arbitrare a autorului.
Am trimis 82 dintre cele 129 de întrebări din GeneBench-Pro către experți externi în domeniu, printre care studenți la studii postuniversitare, cercetători postdoctorali, cercetători din domeniu și profesori universitari. Evaluatorii au analizat gradul de realism al fiecărei probleme, dacă răspunsul țintă putea fi identificat și dacă metodele și estimatorii erau adecvați. Feedbackul primit a fost utilizat pentru îmbunătățirea problemelor.
“Problemele pe care le-am analizat ar fi fost dificile pentru un masterand sau doctorand de rezolvat fără feedback iterativ din partea unui coordonator cu experiență. Datele conțineau probleme tehnice și de control al calității care necesitau o analiză atentă și reflexivă, cu conștientizarea capcanelor posibile, pentru a ajunge la un rezultat corect; nu era vorba doar de aplicarea unei metode standard pe date curate și bine curate.”
“Chiar dacă modelele actuale nu pot rula fiabil analize independente de la început până la sfârșit, cele care se descurcă bine la problemele GeneBench-Pro ar putea ajuta clar cercetătorii să stabilească fluxuri de lucru corecte și să exploreze datele. Îmi imaginez că asta ar îmbunătăți mult ritmul, rigurozitatea și reproductibilitatea cercetării.”
Fiecare problemă GeneBench-Pro este o analiză științifică autonomă. Agenții primesc acces la un spațiu de lucru izolat, cu o scurtă solicitare, fișiere de date și o suită standard de bioinformatică ce include Python, biblioteci de calcul științific și pachete genomice de bază precum PLINK 2.0, deși problemele nu cer instrumente specifice domeniului.
Decizie beneficiu-risc pentru terapia tumorală ghidată de variante structurale
Deoarece controlăm întregul proces de generare a datelor, putem evalua corectitudinea în mod determinist în raport cu obiective cunoscute, evitând variabilitatea legată de alegerea modelului și efectele de verbozitate întâlnite în evaluarea standard bazată pe rubrici.
Fiecare problemă include și metadate bogate: structura de analiză vizată, fișiere de date atașate, un studiu de caz detaliat pe mai multe pagini și rezultatele evaluării experților. Publicăm integral în regim open source 10 întrebări GeneBench-Pro reprezentative pe Hugging Face(se deschide într-o fereastră nouă), cu o interfață web interactivă pentru explorare. În final, vom furniza în curând un subset de 50 de întrebări către Artificial Analysis(se deschide într-o fereastră nouă) în vederea efectuării, în viitorul apropiat, a unor teste de performanță independente, realizate de o terță parte.
Cel mai puternic model al nostru, GPT‑5.6 Sol, atinge o rată de trecere de 28,7% la cel mai înalt nivel de raţionament (31,5% cu modul Pro activat). Este o creștere abruptă față de momentul în care am început să construim GeneBench original; atunci, cel mai bun model de vârf al nostru, GPT‑5, obținea sub 5%. Progresele înregistrate în cadrul acestui test de performanță sugerează că modelele de vârf se îmbunătățesc rapid, chiar și în privința raționamentului științific mai puțin tangibil, la nivel de sistem. La ritmul actual, este posibil ca acest test de performanță să atingă limita maximă până la sfârșitul anului.
Rezultatele arată și impactul scalării calculului la momentul testării. La cel mai scăzut nivel de raţionament, GPT‑5.6 Sol obține o rată de promovare doar de o singură cifră. La cel mai înalt nivel de raţionament, GPT‑5.6 Sol rezolvă de aproape șase ori mai multe întrebări decât GPT‑5.2, folosind aproximativ două treimi din numărul de tokenuri.
Comparațiile între familii de modele sugerează că modelele GPT se numără printre cele mai performante sisteme pentru raționament științific de nivel înalt în condiții de incertitudine cantitativă. Diferența de performanță dintre GPT‑5.6, GPT‑5.5 și principalele modele open source, precum GLM 5.2, este mult mai mare decât ne-am aștepta extrapolând din testele de performanță de programare(se deschide într-o fereastră nouă), ceea ce indică faptul că modelele open source sunt mai specializate pentru programare decât pentru capacitate mai largă de raționament.
Am utilizat modele GPT de vârf pentru a evalua și consolida problemele pe parcursul dezvoltării. Prin urmare, am bănuit că GeneBench-Pro ar putea fi părtinitor față de modelele GPT în comparație cu alte familii de modele. Cu toate acestea, modelele concurente au reușit, în cel mai bun caz, să egaleze performanța modelului GPT corespunzător la momentul lansării, dar, de cele mai multe ori, au înregistrat rezultate considerabil inferioare.
Aceste rezultate ale evaluării, de până la 31,5% pe GPT‑5.6 Sol (Pro), sunt remarcabile având în vedere dificultatea întrebărilor GeneBench-Pro. Într-un sondaj, evaluatorii noștri au estimat că o problemă GeneBench-Pro tipică i-ar lua unui expert uman aproximativ 20–40 de ore. La un tarif conservator de 200 USD pe oră, costul muncii umane pentru o singură problemă ajunge la mii de dolari. Agenții de IA actuali nu sunt suficient de fiabili pentru a înlocui experții umani, dar diferența de cost este mare: costurile de inferență sunt de numai câțiva dolari per problemă. Asta înseamnă că și automatizarea parțială, la capacitățile actuale, ar putea crea valoare economică și științifică semnificativă.
“Testele de performanță sunt motivate de o gamă variată de întrebări biologice, dar… adevărata provocare provine din analiza exploratorie a datelor și din raționamentul bazat pe aceste descoperiri: identificarea tiparelor și a artefactelor, precum și luarea deciziei dacă datele ar trebui excluse sau ajustate. Acest lucru reflectă natura complexă a seturilor de date biologice reale. Analiza acestor evaluări evidențiază cât de importante sunt contractele clare ale solverului pentru rezolvarea problemelor științifice bazate pe agenți. Formularea diferită a solicitărilor sau a specificațiilor sarcinii poate influența în mare măsură ce analize sunt considerate admisibile.”
“Mi-au plăcut [întrebările] în mare parte. Au inclus un amestec de: (1) cunoștințe necesare despre subiect, cum ar fi biasul C>T în ADN-ul antic, (2) discrepanțe ale datelor, cum ar fi inversări ale descendenței, (3) un anumit nivel de cunoaștere a instrumentelor analitice potrivite pentru sarcină și a modului de implementare a acestora. Părea că majoritatea agenților au eșuat la (2). Nu sunt suficient de prudenți în privința problemelor legate de date. Poate că asta evidențiază o slăbiciune a modelelor actuale. Iar o mare parte din datele biologice prezintă neregularități.”
Totuși, faptul că modelele de vârf rezolvă încă mai puțin de o treime dintre aceste probleme arată că există mult loc de îmbunătățire. Modelele pot progresa parțial la probleme dificile, dar le este greu să închidă bucla inferențială. Acest tipar de eșec reflectă contrastul dintre experții umani și începători. Experții își folosesc experiența pentru a încadra problema și a-și adapta abordarea, în timp ce începătorii fac observații, dar au dificultăți în a le integra în contextul mai larg al problemei.
Problemă: răspuns farmacogenomic de tip „timp-până-la-eveniment” cu tratament variabil în timp
Tipar GPT-5.5
Tipar GPT-5.6 Sol
Pentru a obține o performanță aproape perfectă, vor fi necesare evaluări care să măsoare în mod fiabil progresul și să identifice în același timp punctele în care modelele încă prezintă deficiențe. Testele de performanță precum GeneBench-Pro pot contribui la transformarea unei deficiențe vagi de capacitate într-o problemă pe care o putem diagnostica și îmbunătăți.
Dacă agenții ar putea automatiza în mod fiabil acest tip de analiză, ar putea accelera semnificativ procesul de descoperire științifică. Dovezile genetice umane joacă deja un rol central în stabilirea priorităților și în urmărirea translațională, deoarece mecanismele susținute genetic au șanse mult mai mari de a conduce la tratamente aprobate.
Între timp, costurile secvențierii au scăzut drastic, iar seturile de date la scara biobăncilor corelează acum informații moleculare, fenotipice și din dosarele medicale la o amploare fără precedent. Factorul limitativ se mută de la generarea datelor către transformarea informațiilor în concluzii utile. Modelele capabile să efectueze în mod consecvent analize gestionate în prezent de echipe de experți umani ar putea transforma cercetarea industrială prin accelerarea trierii ipotezelor, a urmăririi țintelor și a ciclului de iterație dintre generarea datelor și luarea deciziilor.
GeneBench-Pro reprezintă o primă încercare de a evalua abilitățile mai abstracte implicate în exercitarea unei bune judecăți științifice, de care dispun cercetătorii cu experiență. Aceste abilități le permit să intuiască și să identifice cele mai promițătoare analize inițiale, să-și revizuiască și să-și adapteze raționamentul atunci când datele contrazic ipotezele inițiale și să ajungă la concluzii de care pot depinde deciziile ulterioare din domeniul clinic, academic sau de afaceri.
Preconizăm că, pe măsură ce capacitățile modelelor vor avansa, testele de performanță care evaluează abilitățile modelelor la aceste niveluri superioare de abstractizare vor deveni din ce în ce mai utile, depășind cadrul celor care se limitează la testarea cunoștințelor teoretice sau a capacității de a efectua analize de rutină.
