Third Moment Research: 10.000 agents durant més de 36 hores

Cada empresa té els seus propis fluxos de treball, eines, casos límit i criteris d'èxit. ⁠(s'obre en una finestra nova)Third Moment Research⁠(s'obre en una finestra nova) creu que els millors agents han de destacar en aquesta feina específica i millorar les seves capacitats com més s'utilitzen.

A partir d'aquesta idea, l'empresa està construint un sistema d'IA que es millora a si mateix. Utilitza els models més recents d'OpenAI per entendre el comportament dels agents, identificar punts febles recurrents i crear automàticament milers d'escenaris sintètics basats en aquests problemes. L'equip utilitza aquests escenaris per millorar els agents i repeteix el procés a mesura que sorgeixen nous problemes.

Codex, GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol donen suport a la recerca i al treball computacional del sistema, i permeten a Third Moment executar 10.000 agents alhora en investigacions que duren entre 36 i 48 hores. L'empresa també utilitza Daybreak per posar a prova la seguretat dels entorns on treballen els agents.

Una de les primeres aplicacions de Third Moment se situa en l'àmbit de les finances quantitatives, on l'èxit es pot mesurar amb claredat. Aquest àmbit ofereix un entorn concret per estudiar com treballen els agents i on troben dificultats. L'equip utilitza Codex per detectar i resoldre problemes en l'entorn de recerca.

En una ocasió, va utilitzar Codex amb GPT‑5.6, el model GPT més recent en aquell moment, per analitzar milers de trajectòries de simulació registrades —les accions dels agents i les respostes de l'entorn— juntament amb les marques de temps i la base de codi.

Codex va descobrir un coll d'ampolla: fer una prova retrospectiva d'una estratègia de negociació amb un any de dades d'ordres del mercat d'accions dels EUA trigava diverses hores. Mentre esperaven, els agents consultaven repetidament si la prova havia acabat, malbaratant segments i omplint el context de comprovacions d'estat.

Després d'analitzar el rendiment de la prova retrospectiva, les dades d'entrada i l'ús que se'n feia, Codex va identificar una optimització de la memòria cau i una tècnica de compactació de dades en memòria. Va experimentar amb diverses solucions i va desplegar la correcció en producció, reduint el temps de la prova retrospectiva d'unes 3 hores a entre 3 i 5 minuts. Això va reduir el consum de segments i la contaminació del context, deixant als agents més segments disponibles per fer nous experiments.

Third Moment proporciona a cada agent les eines, la informació i l'entorn que necessita per a una feina específica. Per a la recerca quantitativa, l'equip executa l'entorn d'execució predeterminat de Codex dins d'un entorn en contenidors Docker. Els agents reben un terabyte de dades, documentació i un repositori de recerca amb mòduls d'enginyeria de característiques, entrenament de models amb GPU, estratègies de negociació i simulació.

GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol aporten el raonament, mentre que l'entorn d'execució de Codex proporciona als agents eines per actuar, crear plans, fixar objectius, generar subagents i compactar el context a mesura que avança la feina.

Per resoldre els casos en què els agents s'aturen abans d'acabar una tasca, Third Moment tracta Codex com un subagent dins d'un entorn d'execució extern basat en GPT‑6 Sol o GPT‑6.1 Sol. Quan una tasca queda inacabada, l'entorn d'execució extern n'examina la trajectòria i determina si cal tornar-ho a intentar, donar la feina per acabada o derivar-la a revisió humana.

En aquest entorn de recerca, els agents treballen per millorar un sistema de negociació de referència creat pels enginyers de Third Moment. Proven estratègies de negociació amb dades històriques, avaluen si una millora és significativa o només soroll i utilitzen cada resultat per triar l'experiment següent. Segons l'Adam, la seva feina ha millorat el sistema de negociació de referència.

Segons l'Adam, abans de GPT‑5.5 els models només podien executar experiments definits per un usuari. Amb GPT‑5.5 i GPT‑5.6, els models que treballaven amb l'entorn d'execució de Codex ja podien utilitzar els resultats per dissenyar experiments de seguiment. Ara, amb GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol, els agents poden investigar les causes de fons mitjançant centenars d'experiments executats en paral·lel amb subagents.

Aquesta evolució ha ajudat els agents a explorar línies de recerca que l'equip no havia previst. En una sessió, GPT‑6.1 Sol va identificar l'impacte de les operacions no visibles en un mercat borsari on representaven una proporció inesperadament elevada del volum de negociació. "Era un resultat poc evident que el nostre equip de recerca no havia tingut en compte inicialment", explica l'Adam.

Third Moment avalua els models en tasques d'optimització, sistemes d'aprenentatge automàtic i recerca quantitativa. Posa a prova els nous models d'avantguarda amb el nivell de raonament més alt i n'avalua la capacitat per explorar repositoris, escriure codi eficient i mantenir una investigació en curs. Les proves actuals també inclouen GPT‑6 Luna.

Una de les proves de referència demana als agents que redueixin la latència d'actualització d'un servei de marcadors en directe sense alterar-ne els resultats. L'equip mesura el guany de velocitat dividint el temps mitjà d'execució d'una solució creada per experts pel de la solució del model, amb el mateix maquinari i sempre que els resultats siguin correctes. Segons l'Adam, GPT‑6 Astra va oferir el guany de velocitat més gran.

Per a tasques concretes, com ara comprovar vulnerabilitats de seguretat específiques del sistema de simulació, l'equip utilitza models més eficients, com GPT‑5.6 Terra. Per a la recerca profunda, l'Adam creu que una capacitat de raonament més gran pot justificar un cost més elevat: "En l'àmbit de les finances quantitatives, trobar un senyal interessant té un valor extraordinari."

Amb 10.000 agents funcionant de manera autònoma, Third Moment necessita posar a prova la seguretat dels seus entorns de recerca a gran escala. L'equip utilitza la plataforma de ciberseguretat Daybreak per automatitzar aquestes proves abans d'iniciar les simulacions.

Les proves comproven si un agent podria sortir del seu entorn de recerca i accedir a la resta de la xarxa. "Amb Daybreak, podem fer que els mateixos agents duguin a terme proves de penetració en la simulació i en posin a prova la infraestructura i la seguretat", explica l'Adam.

L'ambició de Third Moment abasta també les tasques especialitzades que les empreses fan cada dia. Per a un minorista, això podria significar prendre millors decisions sobre la cadena de subministrament quan falten existències o un proveïdor s'endarrereix. Per a un equip d'enginyeria, podria significar detectar colls d'ampolla de rendiment en una base de codi extensa. Per a una empresa que gestiona molta documentació, podria significar detectar quan els compromisos d'un document no coincideixen amb els resultats registrats en un altre.

Aprofitant les capacitats de raonament de GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol, Third Moment preveu passar de les investigacions individuals a centenars de milers de subagents que col·laborin entre si. El seu full de ruta preveu utilitzar bilions de segments per dur a terme cadenes de desenes d'experiments que depenen els uns dels altres, amb l'objectiu d'aprofitar aquesta recerca per millorar els agents de manera autònoma a mesura que sorgeixin nous reptes.

Per a l'Adam, això donaria a les persones més capacitat per definir com aprenen i treballen els agents: "Les persones poden tenir molta més capacitat d'incidència i centrar-se a pensar com fer recerca i com optimitzar-la, en lloc de dur-la a terme directament."