Evaluering av KI-ens evne til å utføre vitenskapelige forskningsoppgaver

Resonnement er kjernen i vitenskapelig arbeid. Utover å huske fakta, genererer forskere hypoteser, tester og forbedrer dem, og syntetiserer ideer på tvers av fagfelt. Etter hvert som modellene våre blir mer kapable, er det sentrale spørsmålet hvordan de kan Resonner dypt for å bidra til vitenskapelig forskning.

I løpet av det siste året har modellene våre nådd store milepæler, inkludert å oppnå gullmedaljeprestasjoner ved den internasjonale Math Olympiad og den internasjonale Olympiad in Informatics. Parallelt begynner vi å se at våre mest kapable modeller, som GPT‑5, meningsfullt akselererer ekte vitenskapelige arbeidsflyter. Forskere bruker disse systemene til oppgaver som grundig litteratursøk på tvers av disipliner og språk, og til å arbeide gjennom komplekse matematiske bevis. I mange tilfeller forkorter modellen arbeid som ellers kunne ha tatt dager eller uker til bare timer. Denne fremgangen er dokumentert i vår artikkel Tidlige vitenskapelige akselerasjonseksperimenter med GPT‑5⁠, utgitt i november 2025, som presenterer tidlige bevis på at GPT‑5 kan målbart akselerere vitenskapelige arbeidsflyter.

Ettersom akselererende vitenskapelig fremgang er en av de mest lovende mulighetene for KI til å gagne menneskeheten, forbedrer vi modellene våre på vanskelige matematikk- og vitenskapsoppgaver og jobber med verktøyene som vil hjelpe forskere med å få mest mulig ut av dem.

Da GPQA⁠(åpnes i et nytt vindu), en "Google-sikker" vitenskapelig referanse med spørsmål skrevet av PhD-eksperter, ble utgitt i november 2023, oppnådde GPT‑4 en score på 39 %, under ekspertbaselinen på 70 %. To år senere oppnådde GPT‑5.2 92 %. Etter hvert som modellenes resonnerings- og kunnskapsevner fortsetter å utvikle seg, vil mer krevende referansemålinger være viktige for å vurdere og forutsi modellenes evne til å akselerere vitenskapelig forskning. Tidligere vitenskapelige referansepunkter fokuserer i stor grad på flervalgsspørsmål, er overmettet, eller er ikke sentralt fokusert på vitenskap.

For å tette dette gapet introduserer vi FrontierScience: en ny referanse bygget for å måle ekspert-nivå vitenskapelige evner. FrontierScience er skrevet og verifisert av eksperter innen fysikk, kjemi og biologi, og består av hundrevis av spørsmål som er laget for å være utfordrende, originale og meningsfulle. FrontierScience inkluderer to spor med spørsmål: Olympiad, som måler vitenskapelig resonnementsevne i Olympiad-stil, og Research, som måler evner innen vitenskapelig forskning i den virkelige verden. Å gi mer innsikt i modellers vitenskapelige evner hjelper oss med å spore fremgang og fremme KI-akselerert vitenskap.

I våre innledende evalueringer er GPT‑5.2 vår best presterende modell på FrontierScience-Olympiad (med en poengsum på 77 %) og forskning (med en poengsum på 25 %), foran andre banebrytende modeller. Vi har sett betydelig fremgang i å løse spørsmål på ekspertnivå, samtidig som vi har rom for mer fremgang, spesielt på åpne forskningsoppgaver. For forskere antyder dette at nåværende modeller allerede kan støtte deler av forskningen som involverer strukturert resonnement, samtidig som det fremheves at det gjenstår betydelig arbeid for å forbedre deres evne til å utføre åpen tenkning. Disse resultatene er i tråd med hvordan forskere allerede bruker dagens modeller: for å akselerere forskningsarbeidsflyter mens de stoler på menneskelig dømmekraft for problemformulering og validering, og i økende grad for å utforske ideer og forbindelser som ellers ville tatt mye lengre tid å avdekke—inkludert, i noen tilfeller, å bidra med nye innsikter som eksperter deretter evaluerer og tester.

Til slutt er den viktigste målestokken for de vitenskapelige evnene til KI de nye oppdagelsene den bidrar til å generere; det er de som til syvende og sist betyr noe for vitenskapen og samfunnet. FrontierScience ligger oppstrøms for det. Det gir oss en ledestjerne for vitenskapelig resonnement på ekspertnivå, slik at vi kan teste modeller på et standardisert sett med spørsmål, se hvor de lykkes eller mislykkes, og identifisere hvor vi må forbedre dem. FrontierScience er smal og har begrensninger på viktige områder (for eksempel ved å fokusere på begrensede, ekspertforfattede problemer) og fanger ikke opp alt forskere gjør i sitt daglige arbeid. Men feltet trenger mer krevende, originale og meningsfulle vitenskapelige målestokker, og FrontierScience gir et skritt fremover i denne retningen.

Den fullstendige FrontierScience-evalueringen omfatter over 700 tekstspørsmål (med 160 i gullsettet) som dekker underfelt innen fysikk, kjemi og biologi. Referansemålingen består av en Olympiad og en forskningsdel. FrontierScience-Olympiad inneholder 100 spørsmål utformet av internasjonale Olympiad-medaljører for å vurdere vitenskapelig resonnement i et begrenset, kortsvarformat. Olympiad-oppsettet ble designet for å inneholde teoretiske spørsmål som er minst like vanskelige som oppgaver i internasjonale Olympiad-konkurranser. FrontierScience-Research består av 60 originale forskningsoppgaver utformet av PhD-forskere (doktorgradsstudenter, professorer eller postdoktorer) som vurderes ved hjelp av en 10-punkts vurderingsskala. Forskningssettet ble opprettet for å inneholde selvstendige, flertrinns deloppgaver på et vanskelighetsnivå som en PhD-forsker kan møte under sin forskning.

Olympiad-spørsmålene ble opprettet i samarbeid med 42 tidligere internasjonale medaljevinnere eller Teamtrenere i de relevante domener, med totalt 109 Olympiad-medaljer. Forskningsspørsmålene ble opprettet i samarbeid med 45 kvalifiserte forskere og domeneeksperter. Alle forskerne var enten doktorgradsstipendiater, postdoktorer eller professorer. Deres ekspertiseområder omfattet et spekter av spesialiserte og viktige vitenskapelige disipliner, fra kvanteelektrodynamikk til syntetisk organisk kjemi til evolusjonsbiologi.

Opprettelsesprosessen for oppgaver for begge settene inkluderte en viss seleksjon mot OpenAIs interne modeller (f.eks. å forkaste oppgaver som modellene klarte riktig, så vi forventer at evalueringen vil være noe partisk mot disse modellene sammenlignet med andre). Vi gjør Olympiad gullsettet med 100 spørsmål og Research gullsettet med 60 spørsmål tilgjengelig som åpen kildekode, mens vi holder tilbake de andre spørsmålene for å spore forurensning.

Olympiad-oppsettet kan vurderes med et kort svar: enten med et tall, uttrykk eller uskarp strengmatch, som hjelper med å verifisere korrekthet. Imidlertid går denne verifisering ofte på bekostning av problemets uttrykksevne og åpenhet. For forskningssettet introduserer vi en rubrikkbasert arkitektur for vurdering av mer åpne oppgaver. Hvert spørsmål inkluderer en vurderingsrubrikk med flere uavhengige og objektivt vurderbare elementer, totalt 10 poeng. Vurderingsrubrikken vurderer ikke bare nøyaktigheten av det endelige svaret, men også korrektheten av de mellomliggende resonnementstrinnene, noe som tillater en nyansert analyse av modellens ytelse og feil. En løsning anses som "korrekt" hvis den tildeles minst 7/10 rubrikkerpoeng.

Svarene evalueres av en modellbasert vurderer (GPT‑5) mot enten kortsvar eller rubrikkriterier. Selv om vi ideelt sett ville brukt en ekspert til å vurdere hvert svar, er denne tilnærmingen ikke skalerbar, så vi utformet rubrikken slik at den kan kontrolleres ved hjelp av en modellvurderer. Vi utviklet en verifisering for å bidra til å sikre at rubrikker og spørsmål var godt kalibrert i forhold til vanskelighetsgrad og korrekthet.

Vi evaluerte flere banebrytende modeller: GPT‑5.2, Claude Opus 4.5, og Gemini 3 Pro, GPT‑4o, OpenAI o4-mini, og OpenAI o3 på FrontierScience-Olympiad og FrontierScience-Research. Alle resonneringsmodeller ble evaluert med “høy” resonneringsinnsats, med unntak av GPT‑5.2 på “xhigh”. I våre innledende evalueringer er GPT‑5.2 vår best presterende modell på FrontierScience-Olympiad (med en poengsum på 77 %) og forskning (med en poengsum på 25 %), foran andre banebrytende modeller. Gemini 3 Pro er sammenlignbar med GPT‑5.2 på Olympiad-settet (scorer 76 %).

Vi har sett betydelig fremgang i å løse spørsmål på ekspertnivå, spesielt på åpne forskningsoppgaver. Det er fortsatt rom for vekst: ved å analysere transkripsjonene for feil, gjorde avanserte modeller noen ganger resonnerings-, logikk- og beregningsfeil, forsto ikke nisjevitenskapelige konsepter, og gjorde faktiske unøyaktigheter.

Selv om FrontierScience representerer et fremskritt i vanskelighetsgraden av vitenskapelige referansemålinger, er det fortsatt mange begrensninger. FrontierScience består av spørsmål med en begrenset problemstilling, som fokuserer på å evaluere det endelige svaret (Olympiad) eller resonnementet for å fullføre en oppgave innen forskning (Forskning). I tillegg er det mindre objektivt å bruke rubrikker med flere komponenter på lengre oppgaver enn å sjekke det endelige svaret. 

FrontierScience tilbyr et snapshot med høyere oppløsninger av modellers resonnement på vanskelige, ekspertforfattede spørsmål, men ikke et fullstendig bilde av hvordan vitenskap utføres i praksis. Spesielt vurderer den ikke en betydelig del av vitenskapelig forskning: hvordan modeller genererer genuint nye hypoteser, eller samhandler med flere modaliteter, inkludert Videodata og reelle eksperimentelle systemer i den fysiske verden.

Fremover forventer vi at fremgang innen vitenskapelig resonnering vil komme både fra bedre generelle resonneringssystemer og målrettet innsats for å forbedre vitenskapelige evner. FrontierScience er et verktøy blant mange, og ettersom modellene forbedres, planlegger vi å iterere på denne referansemålingen, utvide den til nye domener, og kombinere den med flere evalueringer fra den virkelige verden som ser på hva disse systemene faktisk aktiver for forskere å gjøre. Benchmarking som FrontierScience hjelper oss med å forstå svakhetene i dagens KI-systemer, slik at vi kan fokusere arbeidet vårt på å gjøre modeller til pålitelige partnere i vitenskapelig oppdagelse.