Så kör Third Moment Research 10 000 agenter i över 36 timmar

Varje företag har sina egna arbetsflöden, verktyg, specialfall och definitioner av framgång. ⁠(öppnas i ett nytt fönster)Third Moment Research⁠(öppnas i ett nytt fönster) anser att de bästa agenterna ska vara riktigt bra på just det arbetet och bli allt bättre ju mer de används.

Företaget bygger ett självförbättrande AI-system utifrån den idén. Med OpenAI:s senaste modeller analyserar systemet agenternas beteende, identifierar återkommande svagheter och skapar automatiskt tusentals syntetiska scenarier kring dessa problem. Teamet använder scenarierna för att förbättra agenterna och upprepar processen när nya problem uppstår.

Codex, GPT‑6 Astra, GPT‑6 Sol och GPT‑6.1 Sol stödjer systemets forskning och beräkningsarbete. Det gör att Third Moment kan köra 10 000 agenter samtidigt i undersökningar som pågår i 36–48 timmar. Företaget använder också Daybreak för att testa säkerheten i de miljöer där agenterna arbetar.

En av Third Moments tidiga tillämpningar finns inom kvantitativ finans, där det finns tydliga mått på framgång. Området ger en konkret miljö för att studera hur agenter arbetar och vad de har svårt med. Teamet använder Codex för att hitta och åtgärda problem i forskningsmiljön.

Vid ett tillfälle använde teamet Codex med GPT‑5.6, som då var den senaste GPT‑modellen, för att analysera tusentals registrerade simuleringsförlopp (agenternas handlingar och miljöns respons) tillsammans med tidsstämplar och kodbasen.

Codex upptäckte en flaskhals: att testa en handelsstrategi mot ett års historiska orderdata för amerikanska aktier tog flera timmar. Under väntetiden frågade agenterna gång på gång om testet var klart, vilket slösade token och fyllde deras kontext med statuskontroller.

Efter att ha profilerat det historiska testet och analyserat dess indata och användning identifierade Codex en cacheoptimering och en teknik för att packa data i minnet. Codex experimenterade med lösningar och driftsatte korrigeringen, vilket kortade testtiden från cirka 3 timmar till cirka 3–5 minuter. Detta minskade tokenförbrukningen och mängden ovidkommande information i kontexten, så att mer av agenternas tokenbudget kunde användas till ytterligare experiment.

Third Moment ger varje agent de verktyg, den information och den miljö som behövs för ett specifikt jobb. För kvantitativ forskning kör teamet Codex standardkörmiljö i en Docker-miljö. Agenterna får en terabyte data, dokumentation och ett forskningsförvar med moduler för att ta fram särdrag, GPU-stödd modellträning, handelsstrategier och simulering.

GPT‑6 Astra, GPT‑6 Sol och GPT‑6.1 Sol står för resonemangen, medan Codex körmiljö ger agenterna verktyg för att agera, skapa planer, sätta mål, starta underagenter och komprimera kontexten allteftersom arbetet fortskrider.

För att hantera agenter som stannar innan en uppgift är klar använder Third Moment Codex som en underagent i en yttre körmiljö som drivs av GPT‑6 Sol eller GPT‑6.1 Sol. Den yttre körmiljön granskar förloppet när en uppgift lämnas ofärdig och avgör om jobbet ska köras på nytt, avslutas eller skickas vidare för mänsklig granskning.

I den forskningsmiljön arbetar agenterna med att förbättra ett grundläggande handelssystem som byggts av Third Moments ingenjörer. De testar handelsstrategier på historiska data, bedömer om en förbättring är betydelsefull eller bara brus och använder varje resultat för att välja nästa experiment. Enligt Adam har deras arbete förbättrat det ursprungliga handelssystemet.

Före GPT‑5.5 kunde modeller bara utföra experiment som en användare hade angett, säger Adam. Med GPT‑5.5 och GPT‑5.6 kunde modeller i Codex körmiljö använda resultaten för att utforma uppföljande experiment. Nu kan agenter med GPT‑6 Astra, GPT‑6 Sol och GPT‑6.1 Sol undersöka grundorsaker genom hundratals experiment som körs parallellt med underagenter.

Den utvecklingen har hjälpt agenterna att utforska forskningsspår som teamet inte hade förutsett. Under en session identifierade GPT‑6.1 Sol hur dold handel påverkade en börs där sådana affärer stod för en oväntat stor andel av handelsvolymen. ”Det här var ett oväntat resultat som vårt forskningsteam inte hade övervägt från början”, säger Adam.

Third Moment utvärderar modeller inom optimering, maskininlärningssystem och kvantitativ forskning. Företaget testar banbrytande modeller med de högsta inställningarna för resonemang och bedömer deras förmåga att navigera i förvar, skriva effektiv kod och driva en undersökning vidare. I de pågående testerna ingår även GPT‑6 Luna.

I ett prestandatest får agenterna i uppgift att minska fördröjningen vid uppdateringar av en tjänst som visar resultat i realtid, utan att ändra vad den visar. Teamet mäter hastighetsökningen genom att dividera den genomsnittliga körtiden för en expertutvecklad lösning med motsvarande körtid för modellens lösning på samma maskinvara, förutsatt att resultatet är korrekt. GPT‑6 Astra gav den största hastighetsökningen, enligt Adam.

För avgränsade uppgifter, som att kontrollera specifika säkerhetsbrister i simuleringssystemet, använder teamet mer resurseffektiva modeller som GPT‑5.6 Terra. För djupgående forskning anser Adam att bättre resonemangsförmåga kan motivera en högre kostnad: ”Inom kvantitativ finans är värdet av att hitta en intressant signal extremt högt.”

Med 10 000 agenter som körs autonomt behöver Third Moment kunna testa säkerheten i sina forskningsmiljöer i stor skala. Teamet använder cybersäkerhetsplattformen Daybreak för att automatisera testerna innan simuleringarna startar.

Testerna kontrollerar om en agent kan ta sig ut ur sin forskningsmiljö och få åtkomst till resten av nätverket. ”Med Daybreak kan vi låta agenterna själva göra penetrationstester på simuleringen och testa dess infrastruktur och säkerhet”, säger Adam.

Third Moments ambition omfattar även det specialiserade arbete som företag utför varje dag. För en detaljhandlare kan det innebära bättre beslut om leveranskedjan när lagret börjar ta slut eller en leverantör är försenad. För ett utvecklingsteam kan det innebära att hitta prestandaflaskhalsar i en stor kodbas. För en dokumentintensiv verksamhet kan det innebära att upptäcka när åtaganden i ett dokument inte stämmer överens med utfall som dokumenterats i ett annat.

Med resonemangsförmågan hos GPT‑6 Astra, GPT‑6 Sol och GPT‑6.1 Sol som grund planerar Third Moment att gå från enskilda undersökningar till hundratusentals samarbetande underagenter. Planen är att använda biljoner token för kedjor av dussintals experiment som bygger på varandra. Målet är att använda forskningen för att autonomt förbättra agenterna när nya utmaningar uppstår.

För Adam skulle detta ge människor större möjlighet att forma hur agenter lär sig och arbetar: ”Människor kan få betydligt större hävstång i sitt arbete och fokusera på hur forskningen ska bedrivas och optimeras, i stället för att själva utföra den.”