Prezantimi i LifeSciBench

Sistemet e IA-së agjentike po bëhen gjithnjë e më të afta për të kryer detyra shkencore. Megjithatë, dobia e tyre për studiuesit e shkencave të jetës varet nga sa mirë përballojnë kompleksitetin e kërkimit real. Kjo punë rrallë ngjan me një pyetje të vetme për rikujtimin e një fakti ose me një problem të pastër parashikimi. Studiuesit interpretojnë prova të paplota, harmonizojnë gjetje kontradiktore, dizajnojnë eksperimente komplekse, zgjidhin probleme në analizat eksperimentale, vlerësojnë rrezikun translacional dhe vendosin çfarë të bëjnë më pas në kushte pasigurie.

Standardet aktuale të vlerësimit nuk i kapin plotësisht këto aftësi. Shumë vlerësime në shkencat e jetës përqendrohen në fusha të ngushta ose aftësi të izoluara, duke prodhuar pyetje me formate të strukturuara dhe përgjigje reference të qarta. Edhe pse të vlefshme, ato shpesh nuk vlerësojnë vërtet nëse një model mund të kontribuojë në gamën më të gjerë të punës kërkimore.

Ne krijuam LifeSciBench për të ndihmuar në mbylljen e këtij boshllëku. Çdo detyrë mbështetet në gjykimin e shkencëtarëve praktikues të jetës me trajnim në nivel Ph.D. dhe përvojë të drejtpërdrejtë në avancimin e programeve të zbulimit të barnave në bioteknologji dhe farmaceutikë.

LifeSciBench përfshin 750 detyra të hartuara nga ekspertë, që mbulojnë shtatë rrjedha pune dhe shtatë fusha biologjike.

LifeSciBench mat nëse sistemet IA mund të mbështesin detyra realiste kërkimore në shkencat e jetës, jo vetëm t’u përgjigjen pyetjeve të biologjisë. Për të përcaktuar taksonominë e standardit, anketuam shkencëtarë praktikues të jetës për rrjedhat e punës që përdorin më shpesh në kërkimin e aplikuar. Më pas i grupuam përgjigjet e tyre në shtatë kategori të përsëritura: trajtimi i provave, analizat, dizajni dhe optimizimi, arsyetimi shkencor, validimi dhe operacionet, përkthimi dhe komunikimi shkencor.

Çdo detyrë është strukturuar si një kërkesë që një shkencëtar mund t’ia drejtojë një bashkëpunëtori me shumë njohuri: kërkesë shkencore, kontekst ose artefakte përkatëse dhe përgjigje e lirë. Rubrikat e shkruara nga ekspertët vlerësojnë nëse një model mund të japë përgjigjen e duhur për një problem specifik, me nivelin e duhur të hollësisë, arsyetimit, rezervave dhe formatimit që do të priste një shkencëtar.

LifeSciBench vlerëson arsyetimin shkencor bashkë me aftësitë praktike më pak të përcaktuara, të nevojshme për përdorim real shkencor. Detyrat e tij u kërkojnë modeleve të punojnë mbi probleme kërkimore realiste: të interpretojnë prova, të bëjnë gjykime të bazuara në fushë dhe të komunikojnë përfundime të dobishme për recensues ekspertë. Shumë detyra kërkojnë gjithashtu që modelet të trajtojnë pasigurinë dhe të arsyetojnë mbi skedarë të dhënash mbështetëse, jo të mbështeten vetëm te teksti i kërkesës.

Standardi është krijuar për të pasqyruar kompleksitetin e punës në shkencat e jetës. Në përgjithësi, 79% e detyrave kërkojnë disa hapa arsyetimi ose vendimmarrjeje, mesatarisht katër hapa për detyrë. LifeSciBench përfshin 1062 artefakte të bashkëngjitura, që përfshijnë figura, PDF, tabela, skedarë sekuencash, skedarë strukturorë ose kimikë dhe referenca web. Më shumë se gjysma e detyrave (53%) kërkojnë që modelet të interpretojnë ose sintetizojnë informacion nga të paktën një artefakt.

Detyrat u krijuan nga 173 shkencëtarë ekspertë në disiplina të ndryshme të shkencave të jetës. Çdo shkencëtar kishte trajnim në nivel Ph.D. dhe përvojë në industrinë bioteknologjike ose farmaceutike. Detyrat mund t’i nënshtroheshin aq cikleve të rishikimit sa nevojiteshin para pranimit, pa kufi të caktuar raundesh; detyrat e pranuara patën mesatarisht gjashtë cikle vetëdrejtuese rishikimi të automatizuar dhe përfunduan të paktën dy raunde recensimi nga ekspertë. Recensionet u mbështetën ose në një përgjigje të saktë të verifikueshme, ose në konsensus të fortë ekspertësh, me të paktën 90% pajtim mes recensuesve në fushën përkatëse. Ky proces ndihmoi të sigurohej që detyrat e pranuara të ishin të bazuara shkencërisht, mjaft të qarta për t’u vlerësuar dhe përfaqësuese të kërkimit të aplikuar.

Detyrat e LifeSciBench vlerësohen me një rubrikë të hollësishme, specifike për detyrën, që e zbërthen përgjigjen e pritur në pretendime shkencore, llogaritje, vendime, justifikime e të tjera. Në gjithë standardin, rubrikat e zhvilluara nga ekspertët përfshijnë 19 020 kritere—mesatarisht 25 për detyrë—për të vlerësuar si saktësinë shkencore, ashtu edhe dobinë për vendimet kërkimore.

Ky dizajn pasqyron mënyrën si vlerësohet në praktikë puna shkencore: shumë detyra të shkencave të jetës nuk mund të vlerësohen vetëm duke kontrolluar përgjigjen përfundimtare. Një përgjigje mund të arrijë përfundimin e saktë në nivel të lartë, por prapë të gjykohet e paplotë nëse, për shembull, shpërfill një kufizim kyç të analizës ose nuk sjell paraprakisht një nuancë biologjike me pasoja të mëdha. Anasjelltas, një përgjigje e pjesshme mund të përmbajë arsyetim me cilësi të lartë edhe nëse nuk e zgjidh plotësisht detyrën.

Rubrikat e detajuara e kapin këtë nuancë. LifeSciBench vlerëson jo vetëm saktësinë e përgjigjes përfundimtare, por edhe nëse një model arrin te ajo në mënyrë shkencërisht të vlefshme dhe operacionalisht të dobishme.

Ne e validuam LifeSciBench përmes një recensimi të pavarur nga ekspertë. Komentet erdhën nga 453 recensues që nuk kishin marrë pjesë në shkrimin e detyrave. Nga këta recensues, 97% kishin Ph.D. ose doktoratë ekuivalente, me mesatarisht 12 vjet përvojë në fushë dhe 14 botime të recensuara; 88% raportuan se kishin marrë të paktën një çmim ose grant kërkimor.

Recensuesit vlerësuan nëse çdo detyrë pasqyronte cilësitë e nevojshme për një pyetje të fortë standardi: përputhje me punën reale kërkimore, testim të përshtatshëm të arsyetimit shkencor dhe ekspertizës së fushës, mbështetje në prova ose konsensus ekspertësh dhe dobishmëri të përgjithshme për vlerësimin e performancës së modelit. Pajtimi tejkaloi 96% në çdo kategori.

Komentet e recensuesve përforcuan vlerësimet sasiore:

Ne raportojmë dy metrika plotësuese. Norma e suksesit është përqindja e detyrave ku një model përmbush pragun e suksesit në nivel detyre prej 70%. Rezultati është shpërblimi mesatar i rubrikës, që jep kredit të pjesshëm për kritere individuale edhe kur detyra e plotë nuk zgjidhet. Të dyja kanë rëndësi, sepse një përgjigje ndaj një detyre shkencore mund të jetë pjesërisht e saktë ose e dobishme pa plotësuar çdo kërkesë për një përgjigje të plotë.

Performanca e modelit ndryshon ndjeshëm sipas tipit të detyrës, rrjedhës së punës dhe formatit të përgjigjes.

LifeSciBench tregon se modelet avangardë janë relativisht më të suksesshme në detyra që përfshijnë sintezë shkencore, komunikim dhe interpretim të strukturuar. Normat absolute të suksesit mbeten modeste, ndaj këto fusha të standardit janë ende larg saturimit, por GPT‑Rosalind tregon përparim domethënës ndaj GPT‑5.5, duke rritur normën e përgjithshme të suksesit nga 25,7% në 36,1%.

Drejtimet më të forta të përparimit në aftësitë e modeleve shfaqen në Komunikimin Shkencor dhe Përkthimin. Për shembull, norma e suksesit në Komunikimin Shkencor rritet nga 56,3% për GPT‑5.5 në 71,1% për GPT‑Rosalind; kjo kategori është e vogël (n=9), ndaj duhet interpretuar me kujdes, por sugjeron se modelet avangardë po përmirësohen shpejt në aftësinë për të organizuar prova dhe për të prodhuar shpjegime bindëse për ekspertë. Përkthimi (procesi “nga laboratori te shtrati i pacientit” në zhvillimin e barnave) tregon një prirje të ngjashme, duke u rritur nga 36,8% për GPT‑5.5 në 57,7% për GPT‑Rosalind, çka sugjeron se modelet po përmirësohen shpejt në aftësinë për të lidhur provat paraklinike me implikimet klinike.

Rezultatet në nivel rubrike tregojnë të njëjtin drejtim. Në detyrat që kërkojnë rezultate të dobishme për ekspertë ose të zbatueshme, GPT‑Rosalind shënon 44,7%, krahasuar me 29,1% për GPT‑5.5. Në detyrat që kërkojnë trajtim të pasigurisë dhe të rezervave, ai shënon 44,8%, krahasuar me 29,3%. Ky model sugjeron se modelet janë më të dobishme kur detyra ka kufi të qartë provash dhe kërkon gjykim shkencor të strukturuar.

Performanca mbetet shumë më e dobët në punën shkencore të ngarkuar me artefakte, të orientuar nga dizajni dhe të kufizuar operacionalisht. Konkretisht, Dizajni, Optimizimi dhe Parashikimi mbetet një nga rrjedhat më të vështira të punës, me normë kalimi të GPT‑Rosalind prej 30,7%; Analiza është po aq e vështirë, me 30,3%.

Përdorimi i artefakteve është një boshllëk veçanërisht i qartë. Edhe pse GPT‑Rosalind ka performancë më të mirë se GPT‑5.5 në mjedise me shumë artefakte, norma e suksesit ende bie nga 45,1% në detyra vetëm me tekst në 28,1% në detyra me artefakte ose URL. GPT‑5.5 tregon të njëjtën tendencë, duke rënë nga 29,9% në 21,9%. Një analizë më e hollësishme konfirmon se modelet avangardë kanë vështirësi në nxjerrjen e informacionit nga figura komplekse ose skedarë të mëdhenj sekuencash dhe në integrimin e këtij informacioni në përgjigjen përfundimtare.

Edhe formati i përgjigjes ka rëndësi. Detyrat që kërkojnë rezultate të sakta në nivel sekuence, strukture ose konstrukti kanë norma më të ulëta suksesi: GPT‑Rosalind arrin vetëm 14,8% në detyrat numerike dhe 24,0% në daljet me sekuencë ose strukturë. Detyrat e gjenerimit të konstrukteve janë gjithashtu të brishta, me GPT‑Rosalind në 27,3% dhe me pak përmirësim ndaj GPT‑5.5. Një pjesë e këtij boshllëku mund të pasqyrojë një sipërfaqe më të rreptë vlerësimi për detyrat me përgjigje të saktë, ku dallime të vogla në llogaritje ose formatim mund ta çojnë një përgjigje nën pragun e suksesit. Megjithatë, këto dështime kanë kuptim shkencor, sepse shumë rrjedha pune në shkencat e jetës kërkojnë dalje mjaft të sakta për përdorim të drejtpërdrejtë, si p.sh. në dizajnin e donorëve CRISPR/HDR ose të siRNA.

Modelet gjithashtu shpesh arrijnë pjesërisht deri te zgjidhja pa e zgjidhur plotësisht detyrën. Në rreth 14% të detyrave, modelet fituan pikë të konsiderueshme sipas rubrikës pavarësisht se nuk arritën pragun e suksesit. Për GPT‑Rosalind, 109 detyra kishin norma suksesi nën 20%, por prapë fituan të paktën 50% të vlerësimit sipas rubrikës. Në praktikë, kjo do të thotë se modelet mund të identifikojnë prova përkatëse ose të prodhojnë një përgjigje të pjesshme të besueshme, por prapë dështojnë sepse humbin një kufizim kyç, përdorin prova të gabuara, bëjnë një llogaritje të paplotë ose nuk e lidhin arsyetimin me një vendim përfundimtar shkencërisht të dobishëm.

LifeSciBench është një hap drejt matjes së dobisë së sistemeve të IA-së për kërkimin në shkencat e jetës, por nuk zëvendëson studimin e modeleve në mjedise kërkimore reale. Standardi përqendrohet në detyra të vetëpërfunduara që pasqyrojnë rrjedha pune të përsëritura në industri, ndërsa shumë specialitete shkencore dhe lloje detyrash mbeten jashtë fushës së tij aktuale. Kërkimi real është iterativ: shkencëtarët mbledhin prova të reja, rishikojnë hipotezat, dizajnojnë eksperimente pasuese dhe përshtatin planet ndërsa shfaqen rezultatet.

Prandaj, performanca e fortë në LifeSciBench duhet interpretuar si provë e aftësisë realiste në nivel detyre, jo si matje e drejtpërdrejtë e ndikimit kërkimor pasues. Standardi mbështetet në rrjedha pune të industrisë, por nuk kap gjithë shumëllojshmërinë ose dinamikën e programeve kërkimore të gjalla, ku përparimi varet nga faktorë që zhvillohen me kalimin e kohës.

Hapi tjetër është lidhja e performancës në benchmark me studime implementimi në rrjedha pune kërkimore reale. Edhe pse LifeSciBench u zhvillua me shkencëtarë praktikues, matja nëse sistemet e IA-së përshpejtojnë zbulimin ose përmirësojnë rezultatet e K&Zh-së do të kërkojë studimin e përdorimit dhe performancës së modeleve në mjedise reale kërkimore, në horizonte më të gjata dhe në disa raunde arsyetimi, reagimi dhe ndjekjeje eksperimentale.