Como duas definições triplicaram a nossa pontuação no benchmark ARC-AGI-3
Vídeo acelerado do GPT‑5.6 Sol a tentar resolver quebra-cabeças do benchmark ARC-AGI-3, com o harness oficial (à esquerda) e o nosso harness da API Responses (à direita), que retém o raciocínio e ativa a compactação. Na classificação deste jogo(abre numa nova janela), nenhum modelo de fronteira resolve níveis além do primeiro. Com o nosso harness, o GPT‑5.6 Sol resolve os seis.
Quando vimos pela primeira vez as baixas pontuações do GPT‑5.6 Sol no benchmark ARC-AGI-3(abre numa nova janela), ficámos intrigados.
O GPT‑5.6 Sol resolveu problemas em aberto de longa data na matemática, como a conjetura da cobertura dupla por ciclos(abre numa nova janela), e venceu jogos como Pokémon FireRed. Mas, no ARC-AGI-3, um benchmark de jogos de quebra-cabeças em 2D, o GPT‑5.6 Sol obteve apenas 7,8%, enquanto o GPT‑5.5 mal conseguia jogar, com uns escassos 0,4%.
Seriam os jogos de quebra-cabeças em 2D invulgarmente difíceis para os nossos modelos? Ou estaria a acontecer outra coisa?
Os benchmarks raramente medem os modelos de IA de forma isolada. Também medem escolhas menos visíveis sobre definições da API, conceção do harness e instruções. No caso do ARC-AGI-3, descobrimos que a ativação de duas definições da API que usamos no ChatGPT e no Codex—retenção do raciocínio e compactação—triplicou as pontuações e reduziu em seis vezes os tokens de saída no conjunto público de tarefas.
Com o harness oficial, o GPT‑5.6 Sol obteve 13,3% no conjunto público do ARC-AGI-3. Com retenção do raciocínio e compactação, obteve 38,3%. As pontuações medem a Eficiência Relativa das Ações Humanas (RHAE(abre numa nova janela))—uma métrica que compara o desempenho do modelo com uma referência humana. Com base nos registos oficiais das partidas(abre numa nova janela), estimamos que os participantes humanos obtiveram, em média, 48%. Os modelos não sabem como serão avaliados e não conseguem ver a pontuação durante a execução—as ações devolvem apenas uma representação textual de cada imagem e o nível em que se encontram.
O ARC-AGI-3 é um benchmark concebido para medir a capacidade de aprendizagem e raciocínio dos agentes de IA. Os agentes exploram jogos 2D desconhecidos e deduzem como funcionam sem instruções explícitas. Pode jogar 25 jogos de demonstração em arcprize.org/tasks(abre numa nova janela).
O ARC-AGI-3 usa intencionalmente um harness genérico, sem ferramentas nem funcionalidades especiais. A lógica da ARC era que um harness simples tornaria as limitações dos modelos mais visíveis e as comparações entre modelos mais justas. Em contrapartida, os programadores comerciais otimizam os harnesses para as funcionalidades e particularidades de cada modelo.
Nos jogos, o GPT‑5.6 Sol venceu Pokémon FireRed com um harness que usa apenas visão (numa transmissão de GPT_Plays_Pokemon(abre numa nova janela)), Slay the Spire através do controlo de computador do Codex (numa transmissão da EpochAI(abre numa nova janela)) e as primeiras fases de Baba Is You (conforme partilhado por Piotr Migdał & Piotr Grabowski(abre numa nova janela)). O que tinha o ARC-AGI-3 de tão diferente?
Ethan Mollick mostra(abre numa nova janela) o GPT‑5.6 Sol no Codex a vencer um desafio diário aleatório em Slay the Spire 2, um jogo lançado após a data-limite do conhecimento do GPT‑5.6 Sol.
Inspirados pela análise da ARC às limitações do GPT‑5.5(abre numa nova janela), examinámos algumas das tentativas do GPT‑5.6 Sol. Tal como a ARC, vimos que o modelo não parecia muito perspicaz. Demorava muito tempo em cada ação e tinha dificuldade em avançar.
Mas, ao analisarmos melhor, descobrimos que grande parte da confusão do modelo não lhe era inerente: devia-se às definições do harness.
Primeiro, reparámos que todo o raciocínio privado era eliminado após cada ação no jogo. Isto significava que, em cada ação, era pedido ao GPT‑5.6 Sol que voltasse a compreender o jogo do zero, sem conseguir recordar o raciocínio anterior. O modelo continuava a ver um registo das jogadas anteriores e breves notas associadas, mas não os planos, conclusões ou pensamentos que lhes tinham dado origem.
Segundo, vimos que o harness usava uma janela móvel de truncagem, fazendo com que as ações mais antigas deixassem de estar visíveis à medida que o histórico crescia. Assim, além de não conseguir recordar o raciocínio anterior, o GPT‑5.6 Sol também estava a perder a memória das ações passadas.
Em conjunto, estas duas características do harness—eliminação do raciocínio e truncagem móvel—ajudaram a explicar por que motivo o GPT‑5.6 Sol tinha dificuldade em aprender ao longo do tempo.
Os nossos modelos são treinados para pensar através de mensagens privadas de raciocínio antes de gerarem respostas ou chamadas a ferramentas. Estas mensagens privadas de raciocínio são mantidas como parte do histórico da conversa. Se uma conversa ficar demasiado longa, resumimo-la e continuamos.
É desta forma que os nossos modelos são treinados e também disponibilizados no ChatGPT e no Codex. Para reproduzir melhor a nossa configuração de produção, implementámos o harness do ARC-AGI-3 com a nossa API Responses(abre numa nova janela). A nossa API facilita a gestão do contexto: no GPT‑5.6, fornecer o ID da resposta anterior retém automaticamente o raciocínio entre chamadas a ferramentas e turnos.
Com o raciocínio retido, observámos duas grandes mudanças. Primeiro, o GPT‑5.6 Sol passou menos tempo a pensar antes de cada ação, pois já não precisava de interpretar o jogo do zero em cada turno. Segundo, ao conseguir recordar os pensamentos anteriores, o GPT‑5.6 Sol tornou-se muito melhor a aprender ao longo do tempo e a aplicar estratégias coerentes.
A melhoria seguinte resultou da substituição da truncagem móvel pela compactação(abre numa nova janela), outra definição da API Responses.
O harness do ARC-AGI-3 gere os limites de contexto através da truncagem móvel. Quando o contexto da conversa ultrapassa 175 000 caracteres, as mensagens mais antigas são eliminadas.
A truncagem móvel tem duas desvantagens. Primeiro, o modelo perde observações e ações anteriores. Segundo, passa grande parte das tarefas a operar com uma janela de contexto mais preenchida, o que pode prejudicar ligeiramente o desempenho.
Quando ativámos a compactação no ARC-AGI-3, o GPT‑5.6 Sol conseguiu preservar melhor o que tinha aprendido sobre cada jogo durante execuções mais longas e obteve uma pontuação superior com menos tokens de saída.
Para ilustrar o efeito da retenção do raciocínio e da ativação da compactação, apresentamos uma animação da janela de contexto de 175 mil tokens do GPT‑5.6 Sol enquanto resolve uma série de quebra-cabeças do ARC-AGI-3 com cada harness.
As duas colunas centrais mostram como cada harness usa a janela de contexto do modelo de forma diferente. Com uma memória melhor do passado, o GPT‑5.6 Sol pensa menos por ação e avança muito mais depressa. Nota: a nossa implementação usa um limite de 175 000 tokens em vez de caracteres, mas o resultado é bastante semelhante, pois a grande maioria do texto consiste em grelhas de ações que o nosso tokenizador converte em tokens numa proporção de 1:1.
Em conjunto, a retenção do raciocínio e a compactação permitem ao GPT‑5.6 Sol (Max) obter cerca de três vezes a pontuação com seis vezes menos tokens de saída.
Esperamos que estas experiências sirvam para recordar que as avaliações raramente medem os modelos de forma isolada—também medem um conjunto de escolhas menos visíveis sobre definições da API, conceção do harness e instruções. Não foi a primeira vez que nos surpreendemos com pontuações baixas num benchmark público e depois descobrimos que o sistema de execução da avaliação usava um harness genérico que eliminava as mensagens de raciocínio.
Se desenvolve aplicações com a API e pretende maximizar o desempenho, recomendamos as mesmas definições que usamos nos nossos produtos:
- Use a nossa API Responses, não a antiga API chat completions
- Retenha o raciocínio
- Use a compactação
E, se estiver a comparar modelos, recomendamos que se baseie em avaliações que usem as definições acima, pois são as que melhor correspondem à utilização real no ChatGPT e no Codex.
Agradecemos à ARC os seus anos de trabalho criativo na avaliação de AGI e a análise que nos inspirou a examinar este caso mais de perto.
Se quiser pôr as suas capacidades à prova contra modelos de fronteira, experimente os jogos públicos em arcprize.org/tasks(abre numa nova janela).
