Evaluering af AI's evne til at udføre videnskabelige forskningsopgaver

Avanceret tænkning er kernen i alt videnskabeligt arbejde. Ud over at huske fakta genererer forskere hypoteser, tester og justerer dem og syntetiserer ideer på tværs af discipliner. Efterhånden som vores modeller bliver mere kompetente, er det centrale spørgsmål, hvordan de kan anvende avanceret tænkning for at bidrage til videnskabelig forskning.

I løbet af det sidste år har vores modeller nået store fremskridt, herunder at opnå guldmedaljepræstationer ved Den Internationale Matematik-Olympiade og Den Internationale Informatik-Olympiade. Parallelt begynder vi at se, at vores mest effektive modeller, såsom GPT‑5, på meningsfuld vis accelererer reelle videnskabelige arbejdsprocesser. Forskere bruger disse systemer til opgaver såsom dybtgående litteratursøgning på tværs af discipliner og sprog samt til at arbejde sig igennem komplekse matematiske beviser. I mange tilfælde forkorter modellen arbejdet, der kunne have taget dage eller uger til blot nogle få timer. Denne fremgang er dokumenteret i vores artikel Tidlige videnskabelige accelerationseksperimenter med GPT‑5⁠, der blev udgivet i november 2025, som indeholder tidlige beviser for, at GPT‑5 kan målbart fremskynde videnskabelige arbejdsgange.

Accelererende videnskabelige fremskridt er en af de mest lovende muligheder for AI til at gavne menneskeheden. Derfor forbedrer vi vores modeller til vanskelige matematik- og videnskabsopgaver og arbejder på værktøjer, der vil hjælpe forskere med at få mest muligt ud af dem.

Da GPQA⁠(åbner i et nyt vindue), som er en "Google-sikker" videnskabelig benchmark med spørgsmål skrevet af PhD-eksperter, blev udgivet i november 2023, opnåede GPT‑4 en score på 39 %, hvilket er under ekspertbaselinjen på 70 %. To år senere opnåede GPT‑5.2 en score på 92 %. Efterhånden som modellernes videnskabelige kapacitet for avanceret tænkning fortsætter med at skalere, vil mere udfordrende benchmarks være vigtige for at måle og forudsige modellernes evne til at fremskynde videnskabelig forskning. Tidligere videnskabelige benchmarks, der fokuserede primært på multiple choice-spørgsmål, er nu mættede eller ikke centralt fokuseret på videnskab.

For at udligne denne mangel introducerer vi nu FrontierScience, som er en ny benchmark, der er designet til at måle videnskabelige færdigheder på ekspertniveau. FrontierScience er skrevet og verificeret af eksperter inden for fysik, kemi og biologi og består af hundredvis af spørgsmål, der er designet til at være vanskelige, originale og meningsfulde. FrontierScience inkluderer to grupper af spørgsmål: Olympiade, som måler Olympiade-stil videnskabelige kapaciteter til avanceret tænkning, og Research, som måler evner til videnskabelig forskning i den virkelige verden. Større indsigt i modellers videnskabelige kapaciteter hjælper os med at spore fremskridt og fremme AI-accelereret videnskab.

I vores indledende evalueringer er GPT‑5.2 vores bedst præsterende model på FrontierScience-Olympiad (med en score på 77 %) og Research (med en score på 25 %), hvilket er bedre end andre lignende modeller. Vi har set betydelige fremskridt i løsningen af spørgsmål på ekspertniveau, mens der stadig er plads til mere fremgang, især med hensyn til åbne forskningsopgaver. For forskere tyder dette på, at de nuværende modeller allerede kan understøtte deling af forskningen, der involverer struktureret avanceret tænkning, mens det understreger, at det stadig er nødvendigt med betydeligt arbejde for at forbedre deres evne til at udføre åbne tankeprocesser. Disse resultater stemmer overens med, hvordan forskere allerede bruger nutidens modeller, f.eks. til at fremskynde forskningsarbejdsgange, mens de stoler på menneskelig dømmekraft til problemformulering og validering, og i stigende grad til at udforske ideer og forbindelser, der ellers ville tage meget længere tid at afdække, herunder i nogle tilfælde at bidrage med nye indsigter, som eksperter derefter evaluerer og tester.

I sidste ende er den vigtigste målestok for AI's videnskabelige evner de nye opdagelser, den hjælper med at generere. Det er dem, der i sidste ende betyder noget for videnskaben og samfundet. FrontierScience ligger allerede i front på det punkt. Det giver os en ledestjerne for videnskabelig, avanceret tænkning på ekspertniveau, så vi kan teste modeller ud fra et standardiseret sæt spørgsmål, se hvor de har lykkes eller fejler, og identificere hvor vi skal forbedre dem. FrontierScience er snæver og har begrænsninger på vigtige områder (for eksempel ved at fokusere på begrænsede, ekspertforfattede problemer) og registrerer ikke alt, hvad forskere laver i deres daglige arbejde. Men området har brug for mere udfordrende, originale og meningsfulde videnskabelige benchmarks, og FrontierScience giver et skridt fremad i denne retning.

Den fulde FrontierScience-evaluering omfatter over 700 tekstspørgsmål (med 160 i guld-sættet), der dækker underfelter inden for fysik, kemi og biologi. Benchmarket består af en Olympiad- og en Research -del. FrontierScience Olympiad indeholder 100 spørgsmål, der er udformet af internationale olympiademedaljevindere til at vurdere videnskabelig avanceret tænkning i et begrænset, kort svarformat. Olympiad-sættet blev designet til at indeholde teoretiske spørgsmål, der er mindst lige så svære som opgaver ved internationale olympiadekonkurrencer. FrontierScience-Research består af 60 originale forskningsopgaver, der er designet af PhD-videnskabsfolk (ph.d.-kandidater, professorer eller postdoktorale forskere), som bedømmes ved hjælp af en 10-punkts rubrik. Research-sættet blev skabt til at indeholde selvstændige, flertrinsunderopgaver på det sværhedsniveau, som en PhD-forsker kunne opleve under forskning.

Olympiad-spørgsmålene blev skabt i samarbejde med 42 tidligere internationale medaljevindere eller nationale Team-trænere inden for de relevante domæner, i alt 109 olympiademedaljer. Forskningsspørgsmålene blev skabt i samarbejde med 45 kvalificerede forskere og domæneeksperter. Alle forskere var enten ph.d.-kandidater, postdoktorale forskere eller professorer. Deres ekspertiseområder omfattede en række specialiserede og vigtige videnskabelige discipliner, fra kvanteelektrodynamik til syntetisk organisk kemi til evolutionsbiologi.

Opgaveoprettelsesprocessen for begge sæt inkluderede en vis udvælgelse mod OpenAI's interne modeller (f.eks. at kassere opgaver, som modellerne klarede korrekt, så vi forventer, at evalueringen vil være noget forudindtaget mod disse modeller i forhold til andre). Vi offentlgør Olympiad-guldsættet med 100 spørgsmål og Research-guldsættet med 60 spørgsmål som open source, mens vi holder de andre spørgsmål tilbage for at spore kontaminering.

Olympiad-sættet kan vurderes med et kort svar: enten med et tal, et udtryk eller en uklar strengmatch, hvilket hjælper med at verificere korrektheden. Dog går denne verifikation ofte på kompromis med problemets udtryksfuldhed og åbenhed. For Research-sættet introducerer vi en rubrikbaseret arkitektur til at vurdere mere åbne opgaver. Hvert spørgsmål inkluderer en bedømmelsesrubrik med flere uafhængige og objektivt vurderbare elementer, der tilsammen giver 10 point. Bedømmelsesrubrikken vurderer ikke kun nøjagtigheden af det endelige svar, men også korrektheden af de mellemliggende trin for avanceret tænkning, hvilket muliggør en nuanceret analyse af modelpræstation og fejlanalyse. En løsning anses for at være “korrekt”, hvis den scorer mindst 7/10 point i bedømmelseskriterierne.

Svarene vurderes af en modelbaseret bedømmer (GPT‑5) i forhold til enten det korte svar eller rubrikkriterierne. Selvom vi ideelt set ville bruge en ekspert til at bedømme hvert svar, er denne tilgang ikke skalerbar, så vi designede rubrikken til at kunne tjekkes ved hjælp af en model-evaluator. Vi udviklede en verifikationsproces for at hjælpe med at sikre, at rubrikker og spørgsmål var godt kalibreret til sværhedsgrad og korrekthed.

Vi evaluerede flere banebrydende modeller såsom GPT‑5.2, Claude Opus 4.5, og Gemini 3 Pro, GPT‑4o, OpenAI o4-mini, og OpenAI o3 på FrontierScience-Olympiad og FrontierScience-Research. Alle modeller til avanceret tænkning blev evalueret ved "høj" avanceret tænkningsindsats med undtagelse af GPT‑5.2 ved "xhigh". I vores indledende evalueringer er GPT‑5.2 vores bedst præsterende model på FrontierScience-Olympiad (med en score på 77 %) og Research (med en score på 25 %), hvilket er bedre end andre lignende modeller. Gemini 3 Pro er sammenlignelig med GPT‑5.2 på Olympiad-sættet (scorer 76%).

Vi har set betydelige fremskridt i løsningen af spørgsmål på ekspertniveau, især inden for åbne forskningsopgaver. Der er stadig mere plads til at vokse. Ved at analysere transkripterne for fejl, lavede Frontier-modellerne nogle gange fejl i avanceret tænkning, logik og beregning, og forstod ikke nichevidenskabelige koncepter og lavede faktuelle unøjagtigheder.

Selvom FrontierScience repræsenterer et skridt fremad i sværhedsgraden af videnskabelige benchmarks, er der stadig mange begrænsninger. FrontierScience består af spørgsmål med en begrænset problemformulering, der fokuserer på at evaluere det endelige svar (Olympiad) eller evaluere avanceret tænkning for at fuldføre en forskningsopgave (Research). Derudover er brugen af bedømmelseskriterier med flere komponenter til længere opgaver mindre objektiv end at kontrollere det endelige svar. 

FrontierScience tilbyder et øjebliksbillede i højere opløsning af modellernes avanceret tænkning for vanskelige, ekspertskrevne spørgsmål, men giver ikke et fuldstændigt billede af, hvordan videnskab udføres i praksis. Især vurderer FrontierScience ikke en væsentlig del af videnskabelig forskning, såsom hvordan modeller genererer ægte nye hypoteser eller interagerer med flere modaliteter, herunder Videodata og reelle eksperimentelle systemer i den fysiske verden.

Når vi ser fremad, forventer vi, at fremskridt inden for videnskabelig avanceret tænkning vil komme fra både bedre generelle systemer til avanceret tænkning og fokuseret indsats på at forbedre videnskabelige kapaciteter. FrontierScience er et værktøj blandt mange, og efterhånden som modellerne forbedres, planlægger vi at iterere på dette benchmark, udvide det til nye domæner og parre det med flere evalueringer fra den virkelige verden, der ser på, hvad disse systemer faktisk giver forskere mulighed for at gøre. Benchmarks såsom FrontierScience hjælper os med at forstå svaghederne ved nutidens AI-systemer, så vi kan fokusere vores arbejde på at gøre modeller til pålidelige partnere i videnskabelig opdagelse.