Sådan kører Third Moment Research 10.000 agenter i over 36 timer

Alle virksomheder har deres egne arbejdsgange, værktøjer, særtilfælde og succeskriterier. ⁠(åbner i et nyt vindue)Third Moment Research⁠(åbner i et nyt vindue) mener, at de bedste agenter skal være rigtig gode til netop det arbejde og blive dygtigere, jo mere de bruges.

Virksomheden bygger et selvforbedrende AI-system ud fra den idé. Systemet bruger OpenAI's nyeste modeller til at forstå agenters adfærd, identificere tilbagevendende svagheder og automatisk skabe tusindvis af syntetiske scenarier med udgangspunkt i disse problemer. Teamet bruger scenarierne til at forbedre agenterne og gentager processen, efterhånden som nye problemer opstår.

Codex, GPT‑6 Astra, GPT‑6 Sol og GPT‑6.1 Sol understøtter systemets forskning og beregningsarbejde, så Third Moment kan køre 10.000 agenter ad gangen i undersøgelser, der varer 36–48 timer. Virksomheden bruger også Daybreak til at teste sikkerheden i de miljøer, hvor agenterne arbejder.

Et af Third Moments tidlige anvendelsesområder er kvantitativ finansiering, hvor der er et klart mål for succes. Dette område giver en konkret ramme for at undersøge, hvordan agenter arbejder, og hvor de støder på problemer. Teamet bruger Codex til at finde og løse problemer i forskningsmiljøet.

I ét tilfælde brugte teamet Codex med GPT‑5.6, som dengang var den nyeste GPT‑model, til at analysere tusindvis af registrerede simuleringsforløb (agenternes handlinger og miljøets reaktioner) sammen med tidsstempler og kodebasen.

Codex fandt en flaskehals: Det tog flere timer at backteste en handelsstrategi på et års amerikanske aktiedata på ordreniveau. Mens agenterne ventede, tjekkede de igen og igen, om testen var færdig. Det spildte tokens og fyldte deres kontekst med statustjek.

Efter at have profileret backtesten og analyseret dens input og anvendelse fandt Codex frem til en cacheoptimering og en teknik til mere kompakt lagring i hukommelsen. Codex eksperimenterede med løsninger og satte rettelsen i produktion. Dermed blev backtestens køretid reduceret fra cirka 3 timer til cirka 3–5 minutter. Det reducerede tokenforbruget og mængden af irrelevant indhold i konteksten, så en større del af agenternes tokenbudget kunne bruges på yderligere eksperimenter.

Third Moment giver hver agent de værktøjer, de oplysninger og det miljø, den har brug for til en bestemt opgave. Til kvantitativ forskning kører teamet standardharnesset fra Codex i et Docker-miljø. Agenterne får en terabyte data, dokumentation og et forskningslager med moduler til feature engineering, GPU-understøttet modeltræning, handelsstrategier og simulering.

GPT‑6 Astra, GPT‑6 Sol og GPT‑6.1 Sol står for ræsonneringen, mens Codex-harnesset giver agenterne værktøjer til at handle, lægge planer, sætte mål, oprette underagenter og komprimere konteksten undervejs.

For at håndtere agenter, der stopper, før en opgave er færdig, bruger Third Moment Codex som en underagent i et ydre harness drevet af GPT‑6 Sol eller GPT‑6.1 Sol. Når en opgave ikke er blevet færdig, gennemgår det ydre harness forløbet og afgør, om opgaven skal forsøges igen, afsluttes eller sendes videre til menneskelig vurdering.

I dette forskningsmiljø arbejder agenterne på at forbedre et grundlæggende handelssystem, som Third Moments ingeniører har bygget. De tester handelsstrategier på historiske data, vurderer, om en forbedring er reel eller blot støj, og bruger hvert resultat til at vælge det næste eksperiment. Ifølge Adam har deres arbejde forbedret det grundlæggende handelssystem.

Ifølge Adam kunne modeller før GPT‑5.5 kun udføre eksperimenter, som en bruger havde foreskrevet. Med GPT‑5.5 og GPT‑5.6 kunne modeller, der arbejdede med Codex-harnesset, bruge resultaterne til at udforme opfølgende eksperimenter. Nu kan agenter med GPT‑6 Astra, GPT‑6 Sol og GPT‑6.1 Sol undersøge grundlæggende årsager gennem hundredvis af eksperimenter, der kører parallelt med underagenter.

Denne udvikling har hjulpet agenterne med at udforske forskningsretninger, som teamet ikke havde forudset. I én session identificerede GPT‑6.1 Sol virkningen af ikke-synlige handler på en børs, hvor disse handler tegnede sig for en uventet stor del af handelsvolumen. »Det var et overraskende resultat, som vores forskningsteam ikke havde overvejet fra starten,« siger Adam.

Third Moment evaluerer modeller inden for optimering, maskinlæringssystemer og kvantitativ forskning. Virksomheden tester banebrydende modeller med de højeste indstillinger for ræsonnering og vurderer deres evne til at navigere i lagre, skrive effektiv kode og fastholde en undersøgelse over tid. De aktuelle tests omfatter også GPT‑6 Luna.

I en benchmark skal agenter reducere opdateringsforsinkelsen i en tjeneste, der viser liveresultater, uden at ændre dens output. Teamet måler hastighedsforbedringen ved at dividere den gennemsnitlige køretid for en ekspertudviklet løsning med køretiden for modellens løsning på samme hardware, forudsat at resultaterne er korrekte. Ifølge Adam gav GPT‑6 Astra den største hastighedsforbedring.

Til afgrænsede opgaver, herunder kontrol for specifikke sikkerhedssvagheder i simuleringssystemet, bruger teamet mere ressourceeffektive modeller som GPT‑5.6 Terra. Ved dybdegående forskning mener Adam, at stærkere ræsonnering kan retfærdiggøre højere omkostninger: »Inden for kvantitativ finansiering er værdien af at finde et interessant signal ekstremt høj.«

Med 10.000 agenter, der kører autonomt, har Third Moment brug for en måde at teste sikkerheden i sine forskningsmiljøer på i stor skala. Teamet bruger cybersikkerhedsplatformen Daybreak til at automatisere disse tests, før simuleringerne sættes i gang.

Testene undersøger, om en agent kan bryde ud af sit forskningsmiljø og få adgang til resten af netværket. »Med Daybreak kan vi lade agenterne selv udføre penetrationstest af simuleringen og teste dens infrastruktur og sikkerhed,« siger Adam.

Third Moments ambition omfatter også det specialiserede arbejde, virksomheder udfører hver dag. For en detailhandler kan det betyde bedre beslutninger om forsyningskæden, når lagerbeholdningen er lav, eller en leverandør er forsinket. For et udviklingsteam kan det betyde at finde flaskehalse i en stor kodebase. For en virksomhed med omfattende dokumentation kan det betyde at finde de steder, hvor forpligtelser i ét dokument ikke stemmer overens med de resultater, der er registreret i et andet.

Med afsæt i evnen til ræsonnering i GPT‑6 Astra, GPT‑6 Sol og GPT‑6.1 Sol planlægger Third Moment at gå fra individuelle undersøgelser til hundredtusindvis af samarbejdende underagenter. Planen er at bruge billioner af tokens til at understøtte kæder af snesevis af indbyrdes afhængige eksperimenter. Målet er at bruge denne forskning til autonomt at forbedre agenterne, efterhånden som nye udfordringer opstår.

For Adam vil det give mennesker større mulighed for at forme, hvordan agenter lærer og arbejder: »Mennesker kan få langt større gennemslagskraft ved at fokusere på, hvordan forskningen skal udføres, og optimere selve forskningsprocessen i stedet for selv at udføre forskningen.«