Como a Third Moment Research opera 10 mil agentes por 36+ horas

Cada empresa tem seus próprios fluxos de trabalho, ferramentas, casos atípicos e critérios de sucesso. ⁠(abre em uma nova janela)A Third Moment Research⁠(abre em uma nova janela) acredita que os melhores agentes devem ser muito bons nesse trabalho específico e aprimorar suas capacidades quanto mais forem usados.

Com base nessa ideia, a empresa está desenvolvendo um sistema de IA que se aprimora sozinho, usando os modelos mais recentes da OpenAI para entender o comportamento dos agentes, identificar fragilidades recorrentes e criar automaticamente milhares de cenários sintéticos em torno desses problemas. A equipe usa esses cenários para aprimorar os agentes, repetindo o processo à medida que surgem novos problemas.

Codex, GPT‑6 Astra, GPT‑6 Sol e GPT‑6.1 Sol dão suporte às atividades de pesquisa e computação do sistema, permitindo que a Third Moment execute 10 mil agentes ao mesmo tempo em investigações que duram de 36 a 48 horas. A empresa também usa o Daybreak para testar a segurança dos ambientes em que os agentes trabalham.

Uma das primeiras aplicações da Third Moment está no campo das finanças quantitativas, em que há uma medida clara de sucesso. Essa área oferece um contexto concreto para estudar como os agentes trabalham e em que encontram dificuldades. A equipe usa o Codex para encontrar e resolver problemas no ambiente de pesquisa.

Em uma ocasião, usou o Codex com o GPT‑5.6, o modelo GPT mais recente na época, para analisar milhares de trajetórias registradas de simulações (as ações dos agentes e as respostas do ambiente), junto com registros de tempo e a base de código.

O Codex descobriu um gargalo: testar uma estratégia de negociação com um ano de dados históricos de ações dos EUA, detalhados por ordem, levava várias horas. Enquanto esperavam, os agentes consultavam repetidamente se o teste havia terminado, desperdiçando tokens e preenchendo seu contexto com verificações de status.

Após traçar o perfil de desempenho do backtest e analisar seus dados de entrada e seu uso, o Codex identificou uma otimização de cache e uma técnica de compactação em memória. Ele experimentou soluções e implantou a correção em produção, reduzindo o tempo do backtest de aproximadamente 3 horas para cerca de 3 a 5 minutos. Isso reduziu o uso de tokens e a poluição do contexto, deixando mais tokens disponíveis para os agentes realizarem novos experimentos.

A Third Moment fornece a cada agente as ferramentas, as informações e o ambiente de que ele precisa para um trabalho específico. Para a pesquisa quantitativa, a equipe executa o harness padrão do Codex em um ambiente conteinerizado com Docker. Os agentes recebem um terabyte de dados, documentação e um repositório de pesquisa com módulos de engenharia de atributos, treinamento de modelos com suporte de GPU, estratégias de negociação e simulação.

GPT‑6 Astra, GPT‑6 Sol e GPT‑6.1 Sol fornecem o raciocínio, enquanto o harness do Codex oferece aos agentes ferramentas para agir, criar planos, definir objetivos, iniciar subagentes e compactar o contexto conforme o trabalho avança.

Para lidar com agentes que param antes de concluir uma tarefa, a Third Moment trata o Codex como um subagente dentro de um harness externo baseado no GPT‑6 Sol ou no GPT‑6.1 Sol. O harness externo examina a trajetória quando uma tarefa fica incompleta e determina se deve tentar novamente, encerrar o trabalho ou encaminhá-lo para revisão humana.

Nesse ambiente de pesquisa, os agentes trabalham para aprimorar um sistema de negociação de referência desenvolvido pelos engenheiros da Third Moment. Eles testam estratégias de negociação com dados históricos, avaliam se uma melhoria é significativa ou apenas ruído e usam cada resultado para escolher o próximo experimento. Segundo Adam, o trabalho dos agentes tem aprimorado o sistema de negociação de referência.

Antes do GPT‑5.5, diz Adam, os modelos só conseguiam executar experimentos definidos por um usuário. Com o GPT‑5.5 e o GPT‑5.6, os modelos que trabalhavam com o harness do Codex passaram a usar os resultados para planejar experimentos subsequentes. Agora, com GPT‑6 Astra, GPT‑6 Sol e GPT‑6.1 Sol, os agentes conseguem investigar causas fundamentais por meio de centenas de experimentos executados em paralelo com subagentes.

Essa evolução tem ajudado os agentes a explorar caminhos de pesquisa que a equipe não havia previsto. Em uma sessão, o GPT‑6.1 Sol identificou o impacto de negociações com ordens não exibidas publicamente em uma bolsa na qual elas representavam uma parcela inesperadamente grande do volume. "Esse foi um resultado pouco óbvio que nossa equipe de pesquisa não havia considerado inicialmente", diz Adam.

A Third Moment avalia modelos em otimização, sistemas de aprendizado de máquina e pesquisa quantitativa. A empresa testa novos modelos de fronteira nas configurações máximas de raciocínio, avaliando sua capacidade de navegar por repositórios, escrever código eficiente e dar continuidade a uma investigação. Os testes atuais também incluem o GPT‑6 Luna.

Um dos benchmarks pede aos agentes que reduzam a latência de atualização de um serviço de placares ao vivo sem alterar seus resultados. A equipe mede o ganho de velocidade dividindo o tempo médio de execução de uma solução criada por especialistas pelo da solução do modelo no mesmo hardware, desde que os resultados estejam corretos. Segundo Adam, o GPT‑6 Astra apresentou o maior ganho de velocidade.

Para trabalhos pontuais, como verificar vulnerabilidades de segurança específicas no sistema de simulação, a equipe usa modelos mais eficientes, como o GPT‑5.6 Terra. Para pesquisa aprofundada, Adam acredita que um raciocínio mais robusto pode justificar um custo maior: "No campo das finanças quantitativas, encontrar um sinal interessante tem um valor extremamente alto."

Com 10 mil agentes em execução autônoma, a Third Moment precisa de uma forma de testar a segurança de seus ambientes de pesquisa em escala. A equipe usa a plataforma de cibersegurança Daybreak para automatizar esses testes antes de iniciar as simulações.

Os testes verificam se um agente conseguiria escapar de seu ambiente de pesquisa e acessar o restante da rede. "Com o Daybreak, conseguimos fazer com que os próprios agentes realizem testes de invasão na simulação e testem sua infraestrutura e segurança", diz Adam.

A ambição da Third Moment abrange o trabalho especializado que as empresas realizam todos os dias. Para um varejista, isso pode significar tomar decisões melhores sobre a cadeia de suprimentos quando o estoque está baixo ou um fornecedor atrasa. Para uma equipe de engenharia, pode significar encontrar gargalos de desempenho em uma grande base de código. Para uma empresa que lida com muitos documentos, pode significar identificar onde os compromissos de um documento não correspondem aos resultados registrados em outro.

Com base nas capacidades de raciocínio do GPT‑6 Astra, GPT‑6 Sol e GPT‑6.1 Sol, a Third Moment planeja passar de investigações individuais para centenas de milhares de subagentes trabalhando em conjunto. Seu plano de desenvolvimento prevê trilhões de tokens sustentando sequências de dezenas de experimentos interdependentes, com o objetivo de usar essa pesquisa para aprimorar os agentes de forma autônoma à medida que surgem novos desafios.

Para Adam, isso daria às pessoas mais capacidade de orientar como os agentes aprendem e trabalham: "As pessoas podem ocupar uma posição de muito mais impacto, na qual podem pensar em como fazer pesquisa e otimizar o próprio processo, em vez de executar a pesquisa em si."