Mat á getu gervigreindar til að framkvæma vísindarannsóknarverkefni

Röksemdafærsla er kjarninn í vísindalegri vinnu. Fyrir utan að rifja upp staðreyndir, búa vísindamenn til tilgátur, prófa og betrumbæta þær og samþætta hugmyndir á milli sviða. Þegar líkön okkar verða færari er meginspurningin hvernig þau geta rökhugsað djúpt til að leggja sitt af mörkum til vísindarannsókna.

Á síðasta ári hafa líkön okkar náð mikilvægum áföngum, þar á meðal að vinna gullverðlaun á Alþjóðlegu Ólympíuleikunum í stærðfræði og Alþjóðlegu Ólympíuleikunum í upplýsingafræði. Samhliða erum við farin að sjá okkar hæfustu líkön, eins og GPT‑5, merkjanlega flýta fyrir raunverulegum vísindalegum verkflæðum. Rannsakendur nota þessi kerfi til verkefna eins og að leita í heimildum á milli fræðigreina og tungumála og vinna úr flóknum stærðfræðilegum sönnunum. Í mörgum tilfellum styttir líkanið vinnu sem hefði getað tekið nokkra daga eða nokkrar vikur upp í nokkrar klukkustundir. Þessum framförum er lýst í grein okkar, Early science acceleration experiments with GPT‑5⁠, sem kom út í nóvember 2025, og sýnir fram á að GPT‑5 getur mælanlega hraðað vísindalegum vinnuflæðum.

Þar sem hraðari vísindaframfarir eru eitt efnilegasta tækifærið fyrir gervigreind til að gagnast mannkyni, erum við að bæta líkön okkar fyrir erfið stærðfræði- og vísindaverkefni og vinna að verkfærum sem munu hjálpa vísindamönnum að fá sem mest út úr þeim.

Þegar GPQA⁠(opnast í nýjum glugga), „Google-Proof“ vísindaviðmið fyrir spurningar sem doktorsnemar höfðu skrifað, var gefið út í nóvember 2023, fékk GPT‑4 39% einkunn, sem er undir viðmiðunargildi sérfræðinga sem var 70%. Tveimur árum síðar náði GPT‑5.2 92%. Eftir því sem röksemdafærslu- og þekkingargeta líkana heldur áfram að aukast, verða erfiðari viðmið mikilvæg til að mæla og spá fyrir um getu líkana til að hraða vísindarannsóknum. Fyrri vísindaleg viðmið einblína að mestu leyti á fjölvalsspurningar, eru mettuð eða ekki sérstaklega einbeitt á vísindum.

Til að brúa þetta bil kynnum við FrontierScience: nýtt viðmið sem er hannað til að mæla vísindalega getu á sérfræðistigi. FrontierScience er skrifað og staðfest af sérfræðingum í eðlisfræði, efnafræði og líffræði og inniheldur hundruð spurninga sem eru hannaðar til að vera erfiðar, frumlegar og innihaldsríkar. FrontierScience inniheldur tvær spurningaleiðir: Ólympíuleikarnir, sem mælir vísindalega rökhugsunarhæfni í anda Ólympíuleikanna, og rannsóknir, sem mælir raunverulegar vísindalegar rannsóknarhæfni. Að veita meiri innsýn í vísindalega getu líkana hjálpar okkur að fylgjast með framförum og efla vísindi sem hraðað er með gervigreind.

Í fyrstu mati okkar er GPT‑5.2 besta líkanið okkar á FrontierScience-Olympiad (með 77% einkunn) og Research (með 25% einkunn), á undan öðrum Frontier-líkönum. Við höfum séð verulegar framfarir í lausnum á spurningum á sérfræðistigi en samt sem áður er svigrúm fyrir frekari framfarir, sérstaklega í opnum rannsóknarverkefnum. Fyrir vísindamenn bendir þetta til þess að núverandi líkön geti þegar stutt við þá hluta rannsókna sem fela í sér skipulagða röksemdafærslu, en jafnframt undirstrikar það að verulegt verk er enn óunnið til að bæta getu þeirra til að hugsa opið. Þessar niðurstöður eru í samræmi við það hvernig vísindamenn nota nú þegar líkön nútímans: til að flýta fyrir rannsóknarvinnuflæði en treysta á mannlega dómgreind til að móta vandamál og staðfesta þau, og í auknum mæli til að kanna hugmyndir og tengsl sem annars tæki mun lengri tíma að afhjúpa — þar á meðal, í sumum tilfellum, að leggja til nýja innsýn sem sérfræðingar meta síðan og prófa.

Að lokum eru mikilvægasta viðmiðið fyrir vísindalega getu gervigreindar þær nýjungar sem hún stuðlar að; það er það sem skiptir í raun máli fyrir vísindin og samfélagið. FrontierScience er ofar í því. Það gefur okkur vísindalegan grunn fyrir vísindalega röksemdafærslu á sérfræðistigi, gerir okkur kleift að prófa líkön með stöðluðum spurningum, sjá hvar þau ná árangri eða mistakast og greina hvar við þurfum að bæta þau. FrontierScience er þröngt svið og hefur takmarkanir í lykilatriðum (til dæmis með áherslu á afmörkuð, sérfræðiskrifuð vandamál) og nær ekki yfir allt sem vísindamenn gera í daglegu starfi sínu. En sviðið þarf erfiðari, frumlegri og þýðingarmeiri vísindaviðmið, og FrontierScience veitir skref fram á við í þessa átt.

Heildarmat FrontierScience spannar yfir 700 textaspurningar (þar af 160 í gullsettinu) sem fjalla um undirsvið í eðlisfræði, efnafræði og líffræði. Viðmiðið samanstendur af Ólympíukeppni og rannsóknarhluta. FrontierScience-Olympiad inniheldur 100 spurningar sem eru hannaðar af alþjóðlegum ólympíuverðlaunahöfum til að meta vísindalega röksemdafærslu í stuttu, afmörkuðu svarsniði. Ólympíusettinu var hannað til að innihalda fræðilegar spurningar sem eru að minnsta kosti jafn erfiðar og verkefni á alþjóðlegum ólympíuleikum. FrontierScience-Research samanstendur af 60 frumlegum rannsóknarverkefnum sem hönnuð eru af doktorsnemum (doktorsnemum, prófessorum eða nýdoktorum) sem eru metin með 10 punkta matskvarða. Rannsóknarsettið var búið til til að innihalda sjálfstæð, fjölþrepa undirverkefni á því erfiðleikastigi sem doktorsnemi gæti lent í í rannsóknum sínum.

Ólympíuspurningarnar voru búnar til í samstarfi við 42 fyrrverandi alþjóðlega verðlaunahafa eða landsliðsþjálfara á viðkomandi sviðum, samtals 109 Ólympíuverðlaun. Rannsóknarspurningarnar voru þróaðar í samstarfi við 45 hæfa vísindamenn og sérfræðinga á þessu sviði. Allir vísindamennirnir voru annað hvort doktorsnemar, nýdoktorar eða prófessorar. Sérþekkingarsvið þeirra náði yfir fjölbreytt úrval sérhæfðra og mikilvægra vísindagreina, allt frá skammtafræðilegri rafeindafræði til tilbúinnar lífrænnar efnafræði og þróunarlíffræði.

Verkefnasköpunarferlið fyrir bæði settin fól í sér val gegn innri líkönum OpenAI (t.d. að henda verkefnum sem líkönum tókst að leysa rétt, þannig að við búumst við að matið verði nokkuð skekkt gegn þessum líkönum miðað við önnur). Við bjóðum upp á opinn hugbúnað fyrir Ólympíuleikanna með 100 spurningum og rannsóknarverkefni með 60 spurningum, og höldum áfram að nota hinar spurningarnar til að fylgjast með mengun.

Hægt er að gefa Ólympíusettinu einkunn með stuttu svari: annaðhvort með tölu, tjáningu eða óljósri strengjasamsvörun, sem hjálpar til við að staðfesta réttmæti. Hins vegar vegur þessi staðfesting oft á móti tjáningarfrelsi og opnu eðli vandamálsins. Fyrir rannsóknarsettið kynnum við matskvarðatengda högun til að gefa einkunn fyrir opnari verkefni. Hver spurning inniheldur matskvarða með mörgum sjálfstæðum og hlutlægt metanlegum atriðum, samtals 10 punktar. Matskvarðinn metur ekki aðeins nákvæmni endanlegs svars, heldur einnig réttmæti millistigs röksemdafærsluskrefa, sem gerir kleift að greina frammistöðu líkansins og greina mistök á nákvæman hátt. Lausn er talin „rétt“ ef hún fær að minnsta kosti 7/10 stig samkvæmt matskvarða.

Svörin eru metin af líkanbundnum flokkara (GPT‑5) annað hvort út frá stutta svarinu eða viðmiðunum í matsflokknum. Þó að við myndum helst nota sérfræðing til að gefa einkunn fyrir hvert svar, þá er þessi aðferð ekki stigstærðanleg, þannig að við hönnuðum matsrammann þannig að hægt væri að athuga hann með líkanflokkara. Við þróuðum staðfestingarkerfi til að tryggja að matsreglur og spurningar væru vel stilltar miðað við erfiðleikastig og réttmæti.

Við metum nokkur frontier-líkön: GPT‑5.2, Claude Opus 4.5, og Gemini 3 Pro, GPT‑4o, OpenAI o4-mini, og OpenAI o3 á FrontierScience-Olympiad og FrontierScience-Research. Öll röksemdafærslulíkön voru metin með „high“ röksemdafærsluátaki, nema GPT‑5.2 sem var metið með „xhigh“. Í fyrstu mati okkar er GPT‑5.2 besta líkanið okkar á FrontierScience-Olympiad (með 77% einkunn) og Research (með 25% einkunn), á undan öðrum Frontier-líkönum. Gemini 3 Pro er sambærilegt við GPT‑5.2 á Olympiad-settinu (með 76% einkunn).

Við höfum séð verulegar framfarir í lausnum á spurningum á sérfræðistigi, sérstaklega í opnum rannsóknarverkefnum. Það er enn meira svigrúm til vaxtar: frá því að greina afritin í leit að göllum, gera frontier-líkön stundum rökvillur, rökfræði- og útreikningsvillur, skildu ekki sérhæfð vísindaleg hugtök og gerðu staðreyndavillur.

Þó að FrontierScience sé skref fram á við hvað varðar erfiðleika vísindalegra viðmiða, þá eru samt sem áður margar takmarkanir. FrontierScience samanstendur af spurningum með takmörkuðu vandamáli, sem leggur áherslu á að meta lokasvarið (Olympiad) eða meta röksemdafærslu til að ljúka rannsóknarverkefni (Research). Auk þess er notkun matskvarða með mörgum þáttum á lengri verkefnum minna hlutlæg en að skoða endanlegt svar. 

FrontierScience býður upp á skýrari mynd af röksemdafærslu líkana um erfiðar, sérfræðispurningar, en ekki heildarmynd af því hvernig vísindi eru framkvæmd í reynd. Einkum og sér í lagi metur það ekki verulegan hluta vísindarannsókna: hvernig líkön skapa sannarlega nýjar tilgátur eða hafa samskipti við fjölbreyttar aðferðir, þar á meðal myndbandsgögn og raunveruleg tilraunakerfi í efnisheiminum.

Horft fram á veginn búumst við við að framfarir í vísindalegri rökhugsun komi bæði frá betri almennum rökhugsunarkerfum og markvissri vinnu við að bæta vísindalega getu. FrontierScience er eitt verkfæri af mörgum, og eftir því sem líkön batna ætlum við að endurtaka þetta viðmið, víkka það út á ný svið og para það við raunverulegri matsrannsóknir sem skoða hvað þessi kerfi gera vísindamönnum í raun kleift að gera. Viðmið eins og FrontierScience hjálpa okkur að skilja veikleika nútíma gervigreindarkerfa svo við getum einbeitt okkur að því að gera líkön að áreiðanlegum samstarfsaðilum í vísindalegum uppgötvunum.