Hoe Third Moment Research 10.000 agents ruim 36 uur laat werken

Elk bedrijf heeft eigen werkprocessen, tools, uitzonderingssituaties en succescriteria. ⁠(opent in een nieuw venster)Volgens Third Moment Research⁠(opent in een nieuw venster) moeten de beste agents juist in dat specifieke werk uitblinken en steeds beter worden naarmate ze vaker worden gebruikt.

Vanuit dat idee bouwt het bedrijf een zelfverbeterend AI-systeem. Het gebruikt de nieuwste modellen van OpenAI om het gedrag van agents te begrijpen, terugkerende zwakke punten te herkennen en automatisch duizenden synthetische scenario's rond die problemen te maken. Het team gebruikt die scenario's om agents te verbeteren en herhaalt het proces zodra er nieuwe problemen ontstaan.

Codex, GPT‑6 Astra, GPT‑6 Sol en GPT‑6.1 Sol ondersteunen het onderzoeks- en rekenwerk van het systeem. Daarmee kan Third Moment 10.000 agents tegelijk inzetten voor onderzoeken die 36 tot 48 uur duren. Het bedrijf gebruikt ook Daybreak om de beveiliging te testen van de omgevingen waarin agents werken.

Een van de eerste toepassingen van Third Moment ligt in de kwantitatieve financiële analyse, omdat succes daar duidelijk meetbaar is. Dit vakgebied biedt een concrete omgeving om te onderzoeken hoe agents werken en waar ze tegenaan lopen. Het team gebruikt Codex om problemen in de onderzoeksomgeving op te sporen en op te lossen.

Zo gebruikte het team Codex met GPT‑5.6, destijds het nieuwste GPT‑model, om duizenden vastgelegde simulatieverlopen te analyseren: de acties van agents en de reacties van de omgeving, samen met tijdstempels en de codebase.

Codex ontdekte een knelpunt: het backtesten van een handelsstrategie op een jaar aan Amerikaanse aandelengegevens op orderniveau duurde enkele uren. Tijdens het wachten vroegen agents steeds opnieuw of de test klaar was. Dat verspilde tokens en vulde hun context met statuscontroles.

Na het profileren van de backtest en het analyseren van de invoer en het gebruik ervan, identificeerde Codex een optimalisatie voor caching en een techniek om gegevens compacter in het geheugen op te slaan. Codex experimenteerde met oplossingen en voerde de verbetering door in de productieomgeving. Daardoor duurde de backtest niet langer ongeveer 3 uur, maar zo'n 3 tot 5 minuten. Dat verminderde het tokengebruik en de contextvervuiling, waardoor er meer van het tokenbudget van de agents overbleef voor verdere experimenten.

Third Moment geeft elke agent de tools, informatie en omgeving die nodig zijn voor een specifieke taak. Voor kwantitatief onderzoek draait het team de standaard Codex-harness in een Docker-omgeving. Agents krijgen een terabyte aan data, documentatie en een onderzoeksrepository met modules voor feature-engineering, modeltraining met GPU-ondersteuning, handelsstrategieën en simulatie.

GPT‑6 Astra, GPT‑6 Sol en GPT‑6.1 Sol verzorgen de redenering. De Codex-harness biedt agents de tools om acties uit te voeren, plannen te maken, doelen te stellen, subagents aan te maken en de context tijdens het werk te comprimeren.

Om te voorkomen dat agents stoppen voordat een taak af is, zet Third Moment Codex in als subagent binnen een overkoepelende harness, aangestuurd door GPT‑6 Sol of GPT‑6.1 Sol. Wanneer een taak onafgemaakt blijft, bekijkt deze overkoepelende harness het verloop en bepaalt of er een nieuwe poging nodig is, de taak moet worden beëindigd of een mens de taak moet beoordelen.

In die onderzoeksomgeving werken agents aan het verbeteren van een basishandelssysteem dat door de engineers van Third Moment is gebouwd. Ze testen handelsstrategieën op historische data, beoordelen of een verbetering betekenisvol is of slechts ruis, en gebruiken elk resultaat om het volgende experiment te kiezen. Volgens Adam heeft hun werk het basishandelssysteem verbeterd.

Vóór GPT‑5.5 konden modellen volgens Adam alleen experimenten uitvoeren die een gebruiker had voorgeschreven. Met GPT‑5.5 en GPT‑5.6 konden modellen die met de Codex-harness werkten resultaten gebruiken om vervolgexperimenten te ontwerpen. Met GPT‑6 Astra, GPT‑6 Sol en GPT‑6.1 Sol kunnen agents nu onderliggende oorzaken onderzoeken via honderden experimenten die ze met subagents parallel uitvoeren.

Dankzij die vooruitgang zijn agents onderzoeksrichtingen gaan verkennen die het team niet had voorzien. In één sessie bracht GPT‑6.1 Sol de impact van niet-zichtbare transacties op een beurs in kaart. Die transacties bleken daar een onverwacht groot deel van het handelsvolume uit te maken. "Dit was een niet voor de hand liggende uitkomst waar ons onderzoeksteam aanvankelijk niet aan had gedacht", zegt Adam.

Third Moment evalueert modellen op het gebied van optimalisatie, machinelearning-systemen en kwantitatief onderzoek. Het bedrijf test grensverleggende modellen met de hoogste instellingen voor redenering. Daarbij beoordeelt het hoe goed ze hun weg vinden in repository's, efficiënte code schrijven en een onderzoek volhouden. Momenteel wordt ook GPT‑6 Luna getest.

In één benchmark moeten agents de vertraging bij updates van een live-scoreborddienst verminderen, zonder de uitvoer te veranderen. Het team meet de snelheidswinst door de gemiddelde uitvoeringstijd van een door experts gemaakte oplossing te delen door die van de modeloplossing op dezelfde hardware, op voorwaarde dat de resultaten correct zijn. Volgens Adam leverde GPT‑6 Astra de grootste snelheidswinst op.

Voor gerichte taken, zoals controles op specifieke beveiligingsproblemen in het simulatiesysteem, gebruikt het team efficiëntere modellen zoals GPT‑5.6 Terra. Bij diepgaand onderzoek kan een betere redenering volgens Adam hogere kosten rechtvaardigen: "Binnen de kwantitatieve financiële analyse is het vinden van een interessant signaal bijzonder waardevol."

Met 10.000 autonoom werkende agents heeft Third Moment een manier nodig om de beveiliging van zijn onderzoeksomgevingen op grote schaal te testen. Het team gebruikt het cyberbeveiligingsplatform Daybreak om die tests te automatiseren voordat de simulaties starten.

De tests controleren of een agent uit zijn onderzoeksomgeving zou kunnen ontsnappen en toegang zou kunnen krijgen tot het bredere netwerk. "Met Daybreak kunnen we agents zelf penetratietests op de simulatie laten uitvoeren en de infrastructuur en beveiliging ervan laten testen", zegt Adam.

De ambitie van Third Moment reikt ook tot het specialistische werk dat bedrijven dagelijks uitvoeren. Voor een retailer kan dat betekenen: betere beslissingen nemen over de toeleveringsketen als de voorraad laag is of een leverancier vertraging heeft. Voor een engineeringteam kan het gaan om het opsporen van prestatieknelpunten in een grote codebase. Voor een bedrijf dat veel met documenten werkt, kan het betekenen dat agents nagaan waar toezeggingen in het ene document niet overeenkomen met resultaten die in een ander document zijn vastgelegd.

Voortbouwend op de mogelijkheden voor redenering van GPT‑6 Astra, GPT‑6 Sol en GPT‑6.1 Sol wil Third Moment opschalen van afzonderlijke onderzoeken naar honderdduizenden samenwerkende subagents. Volgens de roadmap moeten biljoenen tokens worden ingezet voor reeksen van tientallen onderling afhankelijke experimenten. Het doel is om met dat onderzoek agents autonoom te verbeteren zodra er nieuwe uitdagingen ontstaan.

Volgens Adam zouden mensen daardoor meer ruimte krijgen om te bepalen hoe agents leren en werken: "Mensen kunnen veel meer impact hebben als ze kunnen nadenken over de onderzoeksaanpak en het onderzoek zelf kunnen optimaliseren, in plaats van het daadwerkelijk uit te voeren."