Come due impostazioni hanno triplicato i punteggi nel benchmark ARC-AGI-3
Video accelerato di GPT‑5.6 Sol mentre tenta di risolvere i rompicapo del benchmark ARC-AGI-3 con l’infrastruttura ufficiale (a sinistra) e la nostra infrastruttura basata sull’API Responses (a destra), che conserva il ragionamento e attiva il compattamento. Nella classifica di questo gioco(si apre in una nuova finestra), nessun modello di frontiera supera il primo livello. Con la nostra infrastruttura, GPT‑5.6 Sol li completa tutti e sei.
Quando abbiamo visto per la prima volta i bassi punteggi di GPT‑5.6 Sol nel benchmark ARC-AGI-3(si apre in una nuova finestra), siamo rimasti perplessi.
GPT‑5.6 Sol ha risolto problemi matematici aperti da tempo, come la congettura della doppia copertura di cicli(si apre in una nuova finestra), e ha completato giochi come Pokémon FireRed. Eppure, in ARC-AGI-3, un benchmark basato su rompicapo 2D, GPT‑5.6 Sol ha ottenuto appena il 7,8%, mentre GPT‑5.5 riusciva a malapena a giocare, fermandosi a un misero 0,4%.
I rompicapo 2D erano insolitamente difficili per i nostri modelli? Oppure c’era dell’altro?
I benchmark raramente misurano i modelli di IA in modo isolato. Misurano anche scelte meno visibili relative alle impostazioni delle API, alla progettazione dell’infrastruttura e ai prompt. Nel caso di ARC-AGI-3, abbiamo scoperto che l’attivazione di due impostazioni API usate in ChatGPT e Codex—conservazione del ragionamento e compattamento—ha triplicato i punteggi e ridotto di 6 volte i token di output nel set pubblico di attività.
Con l’infrastruttura ufficiale, GPT‑5.6 Sol ha ottenuto il 13,3% sul set pubblico ARC-AGI-3. Conservando il ragionamento e usando il compattamento, ha raggiunto il 38,3%. I punteggi misurano l’efficienza relativa delle azioni umane (RHAE(si apre in una nuova finestra))—una metrica che confronta le prestazioni del modello con un riferimento umano. In base ai registri ufficiali delle partite(si apre in una nuova finestra), stimiamo che i partecipanti umani abbiano ottenuto in media il 48%. Ai modelli non viene spiegato come saranno valutati e, durante la prova, non possono vedere il proprio punteggio—le azioni restituiscono solo una rappresentazione testuale di ciascun fotogramma e l’indicazione del livello raggiunto.
ARC-AGI-3 è un benchmark progettato per misurare la capacità degli agenti di IA di apprendere e ragionare. Gli agenti esplorano giochi 2D sconosciuti e ne deducono il funzionamento senza istruzioni esplicite. Puoi provare 25 giochi dimostrativi su arcprize.org/tasks(si apre in una nuova finestra).
ARC-AGI-3 usa intenzionalmente un’infrastruttura generica, priva di strumenti o funzionalità speciali. Secondo ARC, un’infrastruttura semplice rende più evidenti i limiti dei modelli e più equo il loro confronto. Gli sviluppatori commerciali, al contrario, ottimizzano le infrastrutture in base alle funzionalità e alle peculiarità di ciascun modello.
Nel campo dei videogiochi, GPT‑5.6 Sol ha completato Pokémon FireRed con un’infrastruttura basata solo sulla visione (come mostrato in streaming da GPT_Plays_Pokemon(si apre in una nuova finestra)), Slay the Spire usando il computer tramite Codex (come mostrato in streaming da EpochAI(si apre in una nuova finestra)) e i primi livelli di Baba Is You (come condiviso da Piotr Migdał & Piotr Grabowski(si apre in una nuova finestra)). Che cosa rendeva ARC-AGI-3 così diverso?
Ethan Mollick mostra(si apre in una nuova finestra) GPT‑5.6 Sol in Codex mentre supera una sfida giornaliera casuale in Slay the Spire 2, un gioco pubblicato dopo la data limite delle conoscenze di GPT‑5.6 Sol.
Ispirati dall’analisi di ARC sui limiti di GPT‑5.5(si apre in una nuova finestra), abbiamo esaminato alcuni tentativi di GPT‑5.6 Sol. Come ARC, abbiamo constatato che il modello non sembrava particolarmente brillante. Rifletteva a lungo su ogni azione e faticava a progredire.
Analizzando più a fondo, però, abbiamo scoperto che gran parte della confusione non dipendeva dal modello, bensì dalle impostazioni dell’infrastruttura.
Per prima cosa, abbiamo notato che dopo ogni azione di gioco veniva scartato tutto il ragionamento privato. A ogni azione, quindi, GPT‑5.6 Sol doveva capire nuovamente il gioco, senza poter ricordare i ragionamenti precedenti. Il modello poteva ancora vedere lo storico delle mosse e le brevi note associate, ma non i piani, le intuizioni o i ragionamenti che le avevano determinate.
In secondo luogo, abbiamo osservato che l’infrastruttura usava una finestra di troncamento progressivo, che rendeva invisibili le azioni meno recenti man mano che la cronologia cresceva. GPT‑5.6 Sol, quindi, non solo non riusciva a ricordare i ragionamenti precedenti, ma perdeva anche la memoria delle azioni passate.
Queste due caratteristiche dell’infrastruttura—l’eliminazione del ragionamento e il troncamento progressivo—contribuivano a spiegare perché GPT‑5.6 Sol faticasse ad apprendere nel tempo.
I nostri modelli sono addestrati a riflettere tramite messaggi di ragionamento privati prima di generare risposte o chiamate agli strumenti. Questi messaggi di ragionamento privati vengono conservati nella cronologia della conversazione. Se una conversazione diventa troppo lunga, la riassumiamo e proseguiamo.
È così che i nostri modelli vengono addestrati e anche distribuiti in ChatGPT e Codex. Per riprodurre meglio la nostra configurazione di produzione, abbiamo implementato l’infrastruttura ARC-AGI-3 con la nostra API Responses(si apre in una nuova finestra). La nostra API semplifica la gestione del contesto: con GPT‑5.6, passando l’ID della risposta precedente, il ragionamento viene conservato automaticamente tra chiamate agli strumenti e turni.
Conservando il ragionamento, abbiamo notato due cambiamenti importanti. Innanzitutto, GPT‑5.6 Sol dedicava meno tempo a riflettere prima di ogni azione, perché non doveva più reinterpretare il gioco da zero a ogni turno. In secondo luogo, potendo ricordare i ragionamenti precedenti, GPT‑5.6 Sol riusciva molto meglio ad apprendere nel tempo e ad adottare strategie coerenti.
Il miglioramento successivo è arrivato sostituendo il troncamento progressivo con il compattamento(si apre in una nuova finestra), un’altra impostazione dell’API Responses.
L’infrastruttura ARC-AGI-3 gestisce i limiti del contesto tramite il troncamento progressivo. Quando il contesto della conversazione supera i 175.000 caratteri, i messaggi meno recenti vengono eliminati.
Il troncamento progressivo presenta due svantaggi. Innanzitutto, il modello perde le osservazioni e le azioni precedenti. In secondo luogo, svolge gran parte delle attività con una finestra di contesto più piena, il che può ridurre leggermente le prestazioni.
Attivando il compattamento in ARC-AGI-3, GPT‑5.6 Sol è riuscito a conservare meglio ciò che aveva appreso su ciascun gioco durante le sessioni più lunghe, ottenendo un punteggio più alto con meno token di output.
Per illustrare l’effetto della conservazione del ragionamento e del compattamento, ecco un’animazione che mostra come viene usata la finestra di contesto da 175.000 token di GPT‑5.6 Sol mentre risolve una serie di rompicapo ARC-AGI-3 con ciascuna infrastruttura.
Le due colonne centrali mostrano come ciascuna infrastruttura utilizza diversamente la finestra di contesto del modello. Grazie a una memoria migliore delle azioni precedenti, GPT‑5.6 Sol riflette meno per ogni azione e procede molto più velocemente. Nota: la nostra implementazione usa un limite di 175.000 token anziché di caratteri, ma il risultato è molto simile, perché la stragrande maggioranza del testo è costituita da griglie di azioni, che il nostro tokenizzatore converte in token con un rapporto di 1:1.
Insieme, la conservazione del ragionamento e il compattamento consentono a GPT‑5.6 Sol (Max) di ottenere un punteggio circa 3 volte superiore usando 6 volte meno token di output.
Ci auguriamo che questi esperimenti ricordino che le valutazioni raramente misurano i modelli in modo isolato: misurano anche un insieme di scelte meno visibili relative alle impostazioni delle API, alla progettazione dell’infrastruttura e ai prompt. Non è la prima volta che un punteggio basso in un benchmark pubblico ci sorprende, per poi scoprire che il sistema di valutazione usava un’infrastruttura generica che eliminava i messaggi di ragionamento.
Agli sviluppatori API che vogliono massimizzare le prestazioni consigliamo di usare le stesse impostazioni adottate nei nostri prodotti:
- Usare la nostra API Responses, non la precedente API per il completamento delle chat
- Conservare il ragionamento
- Usare il compattamento
Per confrontare i modelli, consigliamo inoltre di affidarsi a valutazioni che usino le impostazioni indicate sopra, perché rispecchiano meglio l’utilizzo reale in ChatGPT e Codex.
Siamo grati ad ARC per gli anni di lavoro creativo sulla valutazione dell’AGI e per l’analisi che ci ha spinto ad approfondire la questione.
Se vuoi mettere alla prova le tue capacità contro i modelli di frontiera, prova i giochi pubblici su arcprize.org/tasks(si apre in una nuova finestra).
