Kako Third Moment Research pokreće 10.000 agenata na 36+ sati

Svaka kompanija ima vlastite radne procese, alate, granične slučajeve i kriterije uspjeha. ⁠(otvara se u novom prozoru)Kompanija Third Moment Research⁠(otvara se u novom prozoru) vjeruje da najbolji agenti trebaju biti zaista dobri u tom konkretnom poslu i da njihove sposobnosti trebaju napredovati što se više koriste.

Na toj ideji kompanija gradi AI sistem koji se sam unapređuje. Koristi najnovije modele kompanije OpenAI da razumije ponašanje agenata, prepozna slabosti koje se ponavljaju i automatski stvori hiljade sintetičkih scenarija zasnovanih na tim problemima. Tim koristi te scenarije za unapređivanje agenata i ponavlja proces kako se pojavljuju novi problemi.

Codex, GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol podržavaju istraživački i računarski rad sistema, omogućavajući kompaniji Third Moment da istovremeno pokreće 10.000 agenata na istraživanjima koja traju 36–48 sati. Kompanija također koristi Daybreak za testiranje sigurnosti okruženja u kojima agenti rade.

Jedna od prvih primjena kompanije Third Moment je u oblasti kvantitativnih finansija, gdje postoji jasno mjerilo uspjeha. Ta oblast pruža konkretno okruženje za proučavanje načina na koji agenti rade i poteškoća na koje nailaze. Tim koristi Codex za pronalaženje i rješavanje problema u istraživačkom okruženju.

U jednom slučaju tim je koristio Codex uz GPT‑5.6, tada najnoviji GPT model, da analizira hiljade zabilježenih tokova simulacija (radnji agenata i odgovora okruženja), zajedno s vremenskim oznakama i bazom koda.

Codex je otkrio usko grlo: testiranje strategije trgovanja na historijskim podacima o američkim dionicama za godinu dana, na nivou pojedinačnih naloga, trajalo je nekoliko sati. Dok su čekali, agenti su neprestano provjeravali je li testiranje završeno, nepotrebno trošeći tokene i puneći kontekst provjerama statusa.

Nakon profiliranja testiranja na historijskim podacima i analize njegovih ulaznih podataka i načina upotrebe, Codex je prepoznao mogućnost optimizacije keširanja i tehniku kompaktnijeg raspoređivanja podataka u memoriji. Isprobao je rješenja i uveo ispravku u produkcijsko okruženje, čime je trajanje testiranja skratio s približno 3 sata na približno 3 do 5 minuta. Time su smanjeni potrošnja tokena i zatrpavanje konteksta, pa je agentima ostalo više tokena za daljnje eksperimente.

Third Moment svakom agentu daje alate, informacije i okruženje potrebne za određeni posao. Za kvantitativna istraživanja tim pokreće podrazumijevani Codex harness unutar okruženja u Docker kontejneru. Agenti dobijaju terabajt podataka, dokumentaciju i istraživački repozitorij s modulima za inženjering značajki, treniranje modela uz podršku GPU-a, strategije trgovanja i simulaciju.

GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol pružaju sposobnost rezonovanja, dok Codex harness agentima daje alate za djelovanje, izradu planova, postavljanje ciljeva, pokretanje podagenata i sažimanje konteksta tokom rada.

Da bi riješio problem agenata koji stanu prije nego što završe zadatak, Third Moment koristi Codex kao podagenta unutar vanjskog harnessa koji pokreće GPT‑6 Sol ili GPT‑6.1 Sol. Kada zadatak ostane nedovršen, vanjski harness ispituje tok rada i odlučuje treba li pokušati ponovo, prekinuti posao ili ga proslijediti čovjeku na pregled.

U tom istraživačkom okruženju agenti rade na unapređivanju početnog sistema za trgovanje koji su razvili inženjeri kompanije Third Moment. Testiraju strategije trgovanja na historijskim podacima, procjenjuju je li poboljšanje značajno ili je riječ o šumu i na osnovu svakog rezultata biraju sljedeći eksperiment. Prema Adamovim riječima, njihov rad je unaprijedio početni sistem za trgovanje.

Prije modela GPT‑5.5, kaže Adam, modeli su mogli provoditi samo eksperimente koje je zadao korisnik. S modelima GPT‑5.5 i GPT‑5.6, koji su radili uz Codex harness, postalo je moguće koristiti rezultate za osmišljavanje narednih eksperimenata. Sada, uz GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol, agenti mogu istraživati temeljne uzroke kroz stotine eksperimenata koji se izvode paralelno uz pomoć podagenata.

Taj napredak pomogao je agentima da istraže pravce koje tim nije predvidio. U jednoj sesiji GPT‑6.1 Sol utvrdio je utjecaj transakcija koje nisu javno prikazane na berzi na kojoj su činile neočekivano velik udio obima trgovanja. „To je bio neočekivan rezultat koji naš istraživački tim u početku nije razmatrao“, kaže Adam.

Third Moment evaluira modele u oblastima optimizacije, sistema mašinskog učenja i kvantitativnog istraživanja. Testira nova izdanja graničnih modela na najvišim postavkama rezonovanja, procjenjujući njihovu sposobnost snalaženja u repozitorijima, pisanja efikasnog koda i održavanja kontinuiteta istraživanja. Trenutna testiranja obuhvataju i GPT‑6 Luna.

Jedan referentni test traži od agenata da smanje kašnjenje pri ažuriranju servisa za prikaz rezultata uživo, a da njegovi izlazni podaci ostanu nepromijenjeni. Tim mjeri ubrzanje dijeljenjem prosječnog vremena izvršavanja rješenja koje je izradio stručnjak s vremenom izvršavanja rješenja modela na istom hardveru, pod uslovom da je rezultat tačan. Prema Adamovim riječima, GPT‑6 Astra ostvario je najveće ubrzanje.

Za ciljane zadatke, uključujući provjere određenih sigurnosnih slabosti u simulacijskom sistemu, tim koristi efikasnije modele poput GPT‑5.6 Terra. Kada je riječ o dubokom istraživanju, Adam vjeruje da snažnije rezonovanje može opravdati veće troškove: „U oblasti kvantitativnih finansija pronalazak nekog zanimljivog signala ima izuzetno veliku vrijednost.“

Uz 10.000 agenata koji rade autonomno, kompaniji Third Moment potreban je način za testiranje sigurnosti istraživačkih okruženja u velikom obimu. Tim koristi platformu za kibernetičku sigurnost Daybreak da automatizira to testiranje prije pokretanja simulacija.

Testovi provjeravaju može li agent izaći iz granica svog istraživačkog okruženja i pristupiti široj mreži. „Uz Daybreak možemo prepustiti samim agentima da provode penetracijsko testiranje simulacije te testiraju njenu infrastrukturu i sigurnost“, kaže Adam.

Ambicije kompanije Third Moment obuhvataju i specijalizirane poslove koje kompanije obavljaju svakodnevno. Za maloprodajnu kompaniju to bi moglo značiti donošenje boljih odluka o lancu snabdijevanja kada nema dovoljno zaliha ili dobavljač kasni. Za inženjerski tim to bi moglo značiti pronalaženje uskih grla koja usporavaju rad velike baze koda. Za kompaniju koja radi s mnogo dokumenata to bi moglo značiti utvrđivanje gdje obaveze iz jednog dokumenta ne odgovaraju ishodima zabilježenim u drugom.

Oslanjajući se na sposobnosti rezonovanja modela GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol, Third Moment planira proširiti rad s pojedinačnih istraživanja na stotine hiljada podagenata koji sarađuju. Plan razvoja predviđa bilione tokena za podršku nizovima od više desetina međusobno zavisnih eksperimenata, s ciljem da se to istraživanje iskoristi za autonomno unapređivanje agenata kako se pojavljuju novi izazovi.

Za Adama bi to ljudima dalo više prostora da oblikuju način na koji agenti uče i rade: „Ljudi mogu biti u poziciji da ostvare mnogo veći učinak, da razmišljaju o tome kako provoditi istraživanja i optimizirati sam proces, umjesto da ih sami provode.“