Como o GPT‑5.6 une inteligência de ponta e eficiência de fronteira

Projetamos a família de modelos GPT‑5.6 para equilibrar capacidade e custo em todo o espectro de tarefas para as quais as pessoas usam nossos modelos. Nosso modelo principal, o GPT‑5.6 Sol, com raciocínio máximo, supera o Claude Fable 5 no Artificial Analysis Coding Agent Index por menos da metade do custo. O Terra tem desempenho equivalente ao GPT‑5.5 em benchmarks de inteligência pela metade do preço, e o Luna é nosso modelo mais rápido e acessível, custando 80% menos que o Sol. Para alcançar essa eficiência, nossas equipes técnicas e de pesquisa fizeram otimizações significativas em todas as principais camadas da nossa stack. Essas melhorias abrangem nossos modelos, a inferência (como executamos modelos para gerar resultados) e nosso harness com agentes de IA, usado pelo Codex e pelo ChatGPT Work.

Ao ampliar nossos modelos para 1 bilhão de usuários ativos e mais de 2 milhões de empresas nos últimos quatro anos, a eficiência foi essencial para levar os benefícios da inteligência a todos. Nossa missão é garantir que a inteligência artificial geral beneficie toda a humanidade. Ao longo desses anos, trabalhamos para viabilizar continuamente mais otimizações em toda a nossa stack e oferecer os modelos de melhor desempenho em cada ponto da curva de custo e inteligência. Com o GPT‑5.6, alcançamos nossa maior eficiência de inteligência por token até agora. Ele é treinado para realizar mais trabalho por token. No treinamento, otimizamos tanto o sucesso nas tarefas quanto a eficiência, preparando o modelo para seguir um caminho mais direto na execução de uma tarefa.

Esta publicação vai além dos nossos modelos e mostra como priorizamos a eficiência por meio de avanços em outras duas partes importantes da stack: 1) a inferência, com a otimização de processos como balanceamento de carga, decodificação especulativa, cache e kernels para obter mais resultados do mesmo hardware; e 2) nosso harness com agentes de IA, com melhor gerenciamento do inchaço do contexto, do uso de ferramentas e do trabalho repetido. Também mostraremos o papel do GPT‑5.6 Sol na obtenção autônoma de vários desses ganhos. Embora cada melhoria isolada possa parecer limitada, esses ganhos se acumulam e nos permitem avançar na fronteira tanto da inteligência quanto da eficiência.

Em um mundo com recursos computacionais limitados, no qual a demanda por modelos cresce mais rápido que a capacidade, a eficiência é central para o design de todos os sistemas. Isso vale especialmente para nossa stack de inferência, que executa modelos treinados para gerar respostas. Nosso principal objetivo é processar mais tokens com o mesmo hardware, preservando a inteligência, a latência, a disponibilidade e a confiabilidade esperadas pelos usuários.

Para isso, é preciso otimizar todo o sistema. Um modelo pode ser muito eficiente isoladamente, mas ainda ter alto custo de operação se as solicitações forem mal distribuídas, o hardware ficar ocioso ou a movimentação de dados desacelerar a computação. As melhorias em cada camada se acumulam, com ganhos vindos de otimizações no roteamento (para onde as solicitações são enviadas), agendamento (quando são enviadas), kernels (software executado nas GPUs), cache (trabalho salvo e reutilizado) e implementação do modelo (a ordem do código executado nas GPUs). O GPT‑5.6 Sol no Codex teve papel fundamental em todas essas otimizações.

O primeiro exemplo importante é o balanceamento de carga. Globalmente, roteamos solicitações com base em fatores como localização geográfica, capacidade disponível e tipo de acelerador (o tipo de GPU ou chip especializado que executa o modelo). Dentro de um cluster, distribuímos o trabalho entre instâncias do modelo com base na carga, no tamanho do contexto, na disponibilidade do cache e em outras propriedades da solicitação. Em cada instância, o trabalho precisa então ser dividido de forma eficiente entre aceleradores, sub-redes do modelo e núcleos de computação. O GPT‑5.6 Sol no Codex nos ajuda a analisar o tráfego de produção, identificar fontes de desequilíbrio antes ignoradas, testar novas estratégias de roteamento e ajustar continuamente essas heurísticas. Só essas melhorias no balanceamento de carga reduziram drasticamente o custo de operação dos nossos modelos.

Também usamos o GPT‑5.6 Sol para otimizar a passagem direta do modelo: a computação que transforma entradas em previsões do próximo token. Mesmo quando as operações individuais são rápidas, o excesso de movimentação de memória e sincronização, além de layouts de dados ineficientes, pode deixar as GPUs ociosas. Para evitar isso, o GPT‑5.6 Sol encontrou trabalhos que podiam ser pré-computados, evitados ou paralelizados. Com o Codex, o GPT‑5.6 Sol reescreveu e otimizou de forma autônoma nossos kernels de produção, o código central que executa as operações matemáticas que compõem o modelo. Isso funcionou, em parte, porque treinamos o GPT‑5.6 para escrever e aprimorar com eficácia kernels em Triton⁠(abre em uma nova janela) e Gluon⁠(abre em uma nova janela), duas linguagens de programação de GPU de código aberto mantidas pela OpenAI. Esses esforços, combinados a avanços mais amplos em kernels feitos pelo GPT‑5.6 Sol, reduziram em 20% os custos de operação de ponta a ponta. Também investimos muito em ferramentas de verificação, como a ferramenta de código aberto FpSan⁠(abre em uma nova janela) (sanitizador de ponto flutuante), para ajudar a validar a correção dos kernels escritos pelo GPT‑5.6 Sol.

A decodificação especulativa é outra forma de melhorar a velocidade e a eficiência. A técnica consiste em executar um modelo preliminar menor (ou "especulador") junto ao modelo principal, propondo vários tokens para o modelo principal verificar em paralelo. Quando essas propostas são aceitas, o sistema pode produzir vários tokens de saída em uma única passagem do modelo principal, reduzindo a computação sequencial de alto custo. O GPT‑5.6 Sol aprimorou seu próprio modelo preliminar ao projetar e executar centenas de experimentos com sua arquitetura, testando mudanças de tamanho, estrutura e recursos. Além disso, o GPT‑5.6 Sol iniciou e monitorou o processo de treinamento do especulador, intervindo de forma autônoma quando surgiram problemas, como falhas de hardware e instabilidade no treinamento. As melhorias resultantes aumentaram em mais de 15% a eficiência da geração de tokens.

Ao processar tokens de entrada sem cache, o modelo cria o cache de chave-valor (KV) em uma única passagem computacional intensiva; ao gerar a saída, ele lê e amplia repetidamente esse cache. A configuração ideal de operação, incluindo agrupamento em lotes, fragmentação e gerenciamento de KV, depende muito da carga de trabalho — tamanho do prompt e da saída, tamanho do lote, taxa de acerto do cache, características das consultas e muito mais. No entanto, o espaço de configurações era grande demais para ser ajustado sistematicamente, o que obrigava os engenheiros a recorrer a heurísticas amplas. Com o GPT‑5.6 Sol no Codex, conseguimos analisar cargas de produção, gerar e avaliar configurações candidatas e hiperotimizar a configuração do mecanismo e do modelo para cada cenário. Isso viabiliza um novo nível de otimização específica para cada carga de trabalho, extraindo mais inferência útil do mesmo hardware.

A otimização da inferência é um ciclo contínuo de feedback. Medimos o comportamento em produção, identificamos as maiores lacunas, implementamos mudanças e verificamos se elas melhoram todo o sistema, não apenas um benchmark isolado. O GPT‑5.6 Sol e o Codex aceleram cada parte desse ciclo. Assim, nossa equipe pode explorar mais ideias, responder mais rápido a mudanças nas cargas de trabalho e criar uma stack de inferência com menor latência, maior capacidade e custos mais baixos para os usuários.

O ChatGPT Work e o Codex realizam tarefas complexas por meio de uma série de solicitações ao modelo e chamadas de ferramentas. Em uma única interação — da solicitação do usuário à resposta final —, o Codex pode inspecionar o código-fonte, pesquisar o histórico de implantações, ler relatórios de incidentes, editar um arquivo e executar testes. Cada etapa pode exigir uma solicitação.

Preparar o contexto, transmitir dados, executar inferência, chamar ferramentas e iniciar processos consomem tempo e recursos computacionais. Se uma tarefa exigir 30 solicitações ao modelo, um segundo adicional por solicitação faz diferença. Melhorar o desempenho geral significa reduzir o trabalho repetido em todo o sistema, não apenas tornar o modelo mais rápido.

Esses multiplicadores orientaram o design do nosso harness com agentes de IA, uma camada de orquestração em Rust que conecta nossos modelos, ferramentas e o ambiente do usuário. A seguir, mostraremos como evitar o inchaço do contexto, carregar ferramentas e reutilizar trabalho torna cada solicitação mais eficiente.

À medida que os agentes recebem acesso a mais ferramentas, habilidades, plugins e histórico de conversas, as janelas de contexto podem crescer facilmente. Isso aumenta o custo, distrai o modelo e provoca raciocínio desnecessário. O harness pode reduzir essa sobrecarga com a descoberta adiada, que só disponibiliza integrações, ferramentas MCP personalizadas, habilidades e plugins quando necessário. O harness também impede que ferramentas individuais e integrações MCP consumam inesperadamente a janela de contexto. Por padrão, a saída das ferramentas é limitada a 10.000 tokens, a menos que o modelo solicite outro limite.

Como mencionado anteriormente, um loop de agente pode enviar várias vezes às GPUs as mesmas instruções, o histórico da conversa, as definições de ferramentas e os resultados anteriores em uma única interação. Processar essas entradas repetidas é caro, por isso o cache de prompts reutiliza a computação associada ao prefixo de um prompt processado anteriormente. Para preservar esse prefixo, o harness trata todo o histórico visível ao modelo como somente acréscimo: novas mensagens, resultados de ferramentas e atualizações do ambiente são adicionados ao final, em vez de inseridos no contexto anterior. As ferramentas também são apresentadas em uma ordem determinística, enquanto configurações de execução, como políticas de aprovação, são aplicadas durante a execução em vez de incorporadas às definições das ferramentas. Essa decisão de design contribui para as altas taxas gerais de acerto do cache de prompts do Codex e do ChatGPT Work.

Os ganhos de eficiência que alcançamos com o GPT‑5.6 são resultado de anos de melhorias cumulativas em toda a nossa stack, abrangendo pesquisa, inferência e nosso harness com agentes de IA. O papel do GPT‑5.6 na implementação de muitas dessas melhorias nos deixa otimistas quanto à aceleração do ritmo das otimizações. Continuaremos fazendo otimizações mais amplas em áreas como kernels, além de melhorias fundamentais em nossa stack. Esperamos levar essas melhorias contínuas e internas aos nossos usuários e clientes na forma de inteligência mais acessível e econômica.

Agradecimentos especiais a Matthew Ferrari, Philippe Tillet, Ahmed Ibrahim, Joe Gershenson e Steve Coffey, membros da equipe técnica, por suas contribuições para esta publicação.