Slik tredoblet to innstillinger resultatene våre på ARC-AGI-3
En video i økt hastighet av GPT‑5.6 Sol som forsøker å løse oppgaver i ARC-AGI-3-referansetesten, med det offisielle rammeverket (til venstre) og rammeverket vårt med Responses API (til høyre), som bevarer resonnering og aktiverer komprimering. På resultatlisten for dette spillet(åpnes i et nytt vindu) klarer ingen banebrytende modell noe nivå etter det første. Med rammeverket vårt klarer GPT‑5.6 Sol alle seks.
Da vi først så de lave resultatene til GPT‑5.6 Sol i referansetesten ARC-AGI-3(åpnes i et nytt vindu), ble vi forundret.
GPT‑5.6 Sol har løst uløste matematiske problemer som har stått åpne lenge, blant annet formodningen om doble syklusdekker(åpnes i et nytt vindu), og mestret spill som Pokémon FireRed. Men i ARC-AGI-3, en referansetest med todimensjonale hjernetrimspill, oppnådde GPT‑5.6 Sol bare 7,8 %, mens GPT‑5.5 knapt klarte å spille i det hele tatt og fikk beskjedne 0,4 %.
Var todimensjonale hjernetrimspill uvanlig vanskelige for modellene våre? Eller var det noe annet som foregikk?
Referansetester måler sjelden KI-modeller isolert. De måler også mindre synlige valg knyttet til API-innstillinger, utformingen av rammeverket og ledetekster. For ARC-AGI-3 oppdaget vi at to API-innstillinger vi bruker i ChatGPT og Codex – bevart resonnering og komprimering – tredoblet resultatene og reduserte antallet utdatatokener til en sjettedel i det offentlige oppgavesettet.
Med det offisielle rammeverket oppnådde GPT‑5.6 Sol 13,3 % på det offentlige ARC-AGI-3-settet. Med bevart resonnering og komprimering oppnådde den 38,3 %. Resultatene måler relativ menneskelig handlingseffektivitet (RHAE(åpnes i et nytt vindu)) – et mål som sammenligner modellens ytelse med et menneskelig referansenivå. Basert på offisielle spillogger(åpnes i et nytt vindu) anslår vi at den gjennomsnittlige menneskelige testeren oppnådde 48 %. Modellene får ikke vite hvordan de blir vurdert, og kan ikke se resultatet underveis – handlinger returnerer bare en tekstrepresentasjon av hver bilderamme og hvilket nivå de er på.
ARC-AGI-3 er en referansetest utviklet for å måle hvor godt KI-agenter lærer og resonnerer. Agentene utforsker ukjente todimensjonale spill og finner ut hvordan de fungerer, uten uttrykkelige instruksjoner. Du kan spille 25 demospill på arcprize.org/tasks(åpnes i et nytt vindu).
ARC-AGI-3 bruker et bevisst generisk rammeverk uten verktøy eller spesialfunksjoner. ARCs begrunnelse var at et enkelt rammeverk synliggjør modellens svakheter og gir mer rettferdige sammenligninger mellom modeller. Kommersielle utviklere optimaliserer derimot rammeverkene for funksjonene og særegenhetene til hver modell.
I spill har GPT‑5.6 Sol mestret Pokémon FireRed med et rammeverk som bare bruker syn (strømmet av GPT_Plays_Pokemon(åpnes i et nytt vindu)), Slay the Spire med Codex-funksjoner for datamaskinbruk (strømmet av EpochAI(åpnes i et nytt vindu)) og de første brettene i Baba Is You (delt av Piotr Migdał & Piotr Grabowski(åpnes i et nytt vindu)). Hva var så annerledes med ARC-AGI-3?
Ethan Mollick viser(åpnes i et nytt vindu) hvordan GPT‑5.6 Sol i Codex klarer en tilfeldig generert dagsutfordring i Slay the Spire 2, et spill som ble utgitt etter kunnskapsgrensen til GPT‑5.6 Sol.
Inspirert av ARCs analyse av svakhetene til GPT‑5.5(åpnes i et nytt vindu) undersøkte vi noen av forsøkene til GPT‑5.6 Sol. I likhet med ARC syntes vi at modellen ikke virket særlig smart. Den brukte lang tid på hver handling og slet med å komme videre.
Men da vi undersøkte nærmere, oppdaget vi at mye av forvirringen ikke skyldtes selve modellen, men innstillingene i rammeverket.
Først la vi merke til at all privat resonnering ble forkastet etter hver handling i spillet. Det innebar at GPT‑5.6 Sol måtte finne ut av spillet på nytt for hver handling, uten å kunne huske tidligere tankegang. Modellen kunne fortsatt se en logg over tidligere trekk og korte tilhørende notater, men ikke planene, innsiktene eller tankene som hadde ført til dem.
Deretter så vi at rammeverket brukte et rullerende avkortingsvindu, slik at eldre handlinger forsvant etter hvert som historikken vokste. GPT‑5.6 Sol kunne altså ikke bare unnlate å huske tidligere tankegang, men mistet også minnet om tidligere handlinger.
Disse to egenskapene ved rammeverket – forkasting av resonnering og rullerende avkorting – bidro til å forklare hvorfor GPT‑5.6 Sol slet med å lære over tid.
Modellene våre er trent til å tenke gjennom private resonneringsmeldinger før de gir svar eller foretar verktøykall. Disse private tankemeldingene beholdes som en del av samtalehistorikken. Hvis en samtale blir for lang, oppsummerer vi den og fortsetter.
Det er slik modellene våre trenes, og slik de brukes i ChatGPT og Codex. For å gjenspeile produksjonsoppsettet vårt bedre implementerte vi ARC-AGI-3-rammeverket med Responses API(åpnes i et nytt vindu). API-et vårt gjør det enkelt å håndtere kontekst: For GPT‑5.6 bevares resonneringen automatisk på tvers av verktøykall og samtalerunder når ID-en til forrige svar sendes inn.
Da resonneringen ble bevart, la vi merke til to store endringer. For det første brukte GPT‑5.6 Sol mindre tid på å tenke før hver handling, fordi den ikke lenger måtte tolke spillet fra bunnen av i hver runde. For det andre ble GPT‑5.6 Sol langt bedre til å lære over tid og bruke sammenhengende strategier når modellen kunne huske tidligere tanker.
Den neste forbedringen kom da vi erstattet rullerende avkorting med komprimering(åpnes i et nytt vindu), en annen innstilling i Responses API.
ARC-AGI-3-rammeverket håndterer kontekstgrenser med rullerende avkorting. Når samtalekonteksten overstiger 175 000 tegn, forkastes de eldste meldingene.
Rullerende avkorting har to ulemper. For det første mister modellen tidligere observasjoner og handlinger. For det andre utfører den store deler av oppgavene med et fullere kontekstvindu, noe som kan redusere ytelsen noe.
Da vi aktiverte komprimering i ARC-AGI-3, klarte GPT‑5.6 Sol bedre å bevare det den hadde lært om hvert spill gjennom lengre kjøringer, og oppnådde et høyere resultat med færre utdatatokener.
For å illustrere effekten av å bevare resonnering og aktivere komprimering viser denne animasjonen kontekstvinduet på 175K i GPT‑5.6 Sol mens modellen løser en rekke ARC-AGI-3-oppgaver med hvert av rammeverkene.
De to midterste kolonnene viser hvordan modellens kontekstvindu brukes forskjellig av hvert rammeverk. Når GPT‑5.6 Sol husker fortiden bedre, tenker modellen mindre per handling og går langt raskere frem. Merk: Implementeringen vår bruker en grense på 175 000 tokener i stedet for tegn, men i praksis blir dette omtrent det samme, siden det aller meste av teksten består av handlingsrutenett som tokeniseres i forholdet 1:1 av tokeniseringsverktøyet vårt.
Til sammen gjør bevart resonnering og komprimering at GPT‑5.6 Sol (Max) oppnår omtrent tre ganger så høyt resultat med seks ganger færre utdatatokener.
Vi håper disse eksperimentene minner om at evalueringer sjelden måler modeller isolert – de måler også en rekke mindre synlige valg knyttet til API-innstillinger, utformingen av rammeverket og ledetekster. Dette er ikke første gang vi har blitt overrasket over lave resultater i en offentlig referansetest og deretter oppdaget at evalueringsverktøyet brukte et generisk rammeverk som forkastet resonneringsmeldinger.
Hvis du er API-utvikler og ønsker å maksimere ytelsen, anbefaler vi å bruke de samme innstillingene som i våre egne produkter:
- Bruk Responses API, ikke den eldre Chat Completions API (API for samtalesvar)
- Bevar resonneringen
- Bruk komprimering
Hvis du sammenligner modeller, anbefaler vi dessuten evalueringer som bruker innstillingene ovenfor, fordi de best gjenspeiler reell bruk i ChatGPT og Codex.
Vi er takknemlige for ARCs mangeårige og kreative arbeid med evaluering av AGI, og for analysen deres, som inspirerte oss til å undersøke dette nærmere.
Hvis du vil prøve kreftene dine mot banebrytende modeller, kan du selv teste de offentlige spillene på arcprize.org/tasks(åpnes i et nytt vindu).
