Ako Third Moment Research využíva 10 000 agentov vyše 36 hodín

Každá spoločnosť má vlastné pracovné postupy, nástroje, okrajové prípady a kritériá úspechu. ⁠(otvorí sa v novom okne)Spoločnosť Third Moment Research⁠(otvorí sa v novom okne) je presvedčená, že najlepšie agenty by mali túto konkrétnu prácu zvládať naozaj dobre a ich schopnosti by sa mali zlepšovať s tým, ako sa používajú.

Na tejto myšlienke spoločnosť stavia systém AI, ktorý sa sám zlepšuje. Pomocou najnovších modelov OpenAI skúma správanie agentov, identifikuje opakujúce sa slabiny a automaticky vytvára tisíce syntetických scenárov zameraných na tieto problémy. Tím tieto scenáre využíva na zlepšovanie agentov a celý proces opakuje, keď sa objavia nové problémy.

Codex, GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol podporujú výskumnú a výpočtovú prácu systému, vďaka čomu môže Third Moment súbežne prevádzkovať 10 000 agentov pri skúmaní trvajúcom 36–48 hodín. Spoločnosť tiež používa Daybreak na testovanie bezpečnosti prostredí, v ktorých agenty pracujú.

Jedno z prvých využití riešenia Third Moment je v oblasti kvantitatívnych financií, kde sa dá úspech jednoznačne merať. Táto oblasť poskytuje konkrétne prostredie na skúmanie toho, ako agenty pracujú a s čím majú problémy. Tím používa Codex na vyhľadávanie a riešenie problémov vo výskumnom prostredí.

V jednom prípade tím použil Codex s GPT‑5.6, vtedy najnovším modelom GPT, na analýzu tisícov zaznamenaných priebehov simulácií (akcií agentov a reakcií prostredia) spolu s časovými pečiatkami a zdrojovým kódom.

Codex odhalil úzke miesto: spätné testovanie obchodnej stratégie na ročných údajoch o amerických akciách na úrovni jednotlivých pokynov trvalo niekoľko hodín. Agenty počas čakania opakovane zisťovali, či je test hotový, čím plytvali tokenmi a zapĺňali si kontext kontrolami stavu.

Po profilovaní spätného testu a analýze jeho vstupov a používania Codex identifikoval možnosť optimalizácie pomocou vyrovnávacej pamäte a techniku kompaktnejšieho ukladania dát v pamäti. Experimentoval s riešeniami a nasadil opravu do produkčného prostredia, čím skrátil spätný test z približne 3 hodín na približne 3 až 5 minút. Tým sa znížila spotreba tokenov aj zahlcovanie kontextu, takže agentom zostalo viac tokenov na ďalšie experimenty.

Third Moment poskytuje každému agentovi nástroje, informácie a prostredie potrebné na konkrétnu prácu. Pri kvantitatívnom výskume tím spúšťa predvolený harness Codexu v prostredí kontajnerizovanom pomocou Dockeru. Agenty dostávajú terabajt dát, dokumentáciu a výskumný repozitár s modulmi na tvorbu príznakov, trénovanie modelov s podporou GPU, obchodné stratégie a simulácie.

GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol zabezpečujú uvažovanie, zatiaľ čo harness Codexu poskytuje agentom nástroje na vykonávanie akcií, tvorbu plánov, stanovovanie cieľov, spúšťanie subagentov a priebežné zhutňovanie kontextu.

Aby Third Moment vyriešil prípady, keď sa agenty zastavia pred dokončením úlohy, používa Codex ako subagenta vo vonkajšom harness riadenom modelom GPT‑6 Sol alebo GPT‑6.1 Sol. Keď úloha zostane nedokončená, vonkajší harness preskúma jej priebeh a rozhodne, či sa má pokus zopakovať, úloha ukončiť alebo postúpiť na kontrolu človeku.

V tomto výskumnom prostredí agenty pracujú na zlepšení východiskového obchodného systému, ktorý vytvorili inžinieri Third Moment. Testujú obchodné stratégie na historických dátach, posudzujú, či je zlepšenie významné alebo ide len o šum, a na základe každého výsledku vyberajú ďalší experiment. Podľa Adama ich práca zlepšila východiskový obchodný systém.

Podľa Adama dokázali modely pred príchodom GPT‑5.5 vykonávať len experimenty zadané používateľom. S príchodom GPT‑5.5 a GPT‑5.6 už modely pracujúce s harness Codexu dokázali využívať výsledky na navrhovanie nadväzujúcich experimentov. Teraz s GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol môžu agenty skúmať prvotné príčiny prostredníctvom stoviek experimentov, ktoré prebiehajú paralelne so subagentmi.

Tento pokrok pomohol agentom skúmať smery výskumu, s ktorými tím nepočítal. V jednej relácii GPT‑6.1 Sol identifikoval vplyv nezverejňovaných obchodov na burze, kde tieto obchody tvorili nečakane veľkú časť objemu. „Bol to nečakaný výsledok, s ktorým náš výskumný tím pôvodne neuvažoval,“ hovorí Adam.

Third Moment hodnotí modely v oblasti optimalizácie, systémov strojového učenia a kvantitatívneho výskumu. Testuje nové prelomové modely pri najvyššom nastavení uvažovania a hodnotí ich schopnosť orientovať sa v repozitároch, písať efektívny kód a vytrvať pri skúmaní. Súčasťou aktuálneho testovania je aj GPT‑6 Luna.

V jednom benchmarku majú agenty znížiť oneskorenie aktualizácií služby na zobrazovanie priebežného skóre bez zmeny jej výstupov. Tím meria zrýchlenie tak, že priemerný čas vykonávania riešenia vytvoreného odborníkom vydelí časom riešenia vytvoreného modelom na rovnakom hardvéri, pričom podmienkou je správnosť výsledkov. Podľa Adama priniesol najväčšie zrýchlenie GPT‑6 Astra.

Na úzko zamerané úlohy vrátane kontrol konkrétnych bezpečnostných slabín v simulačnom systéme tím používa efektívnejšie modely, napríklad GPT‑5.6 Terra. Pri hlbokom výskume môže podľa Adama lepšie uvažovanie odôvodniť vyššie náklady: „V oblasti kvantitatívnych financií má nájdenie zaujímavého signálu mimoriadne vysokú hodnotu.“

Keďže Third Moment prevádzkuje 10 000 autonómne pracujúcich agentov, potrebuje spôsob, ako vo veľkom rozsahu testovať bezpečnosť svojich výskumných prostredí. Tím používa platformu kybernetickej bezpečnosti Daybreak na automatizáciu tohto testovania pred spustením simulácií.

Testy overujú, či by agent mohol uniknúť zo svojho výskumného prostredia a získať prístup k širšej sieti. „Vďaka Daybreak môžeme nechať samotné agenty vykonávať penetračné testy simulácie a testovať jej infraštruktúru a bezpečnosť,“ hovorí Adam.

Ambície Third Moment siahajú aj k špecializovanej práci, ktorú firmy vykonávajú každý deň. Pre maloobchodníka by to mohlo znamenať lepšie rozhodovanie v dodávateľskom reťazci pri nedostatku zásob alebo meškaní dodávateľa. Pre vývojársky tím by to mohlo znamenať odhaľovanie výkonnostných úzkych miest v rozsiahlom zdrojovom kóde. Pre firmu, ktorá pracuje s veľkým množstvom dokumentov, by to mohlo znamenať zisťovanie, kde záväzky v jednom dokumente nezodpovedajú výsledkom zaznamenaným v inom.

Third Moment plánuje stavať na schopnostiach uvažovania modelov GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol a prejsť od jednotlivých výskumných úloh k státisícom spolupracujúcich subagentov. Plán rozvoja počíta s biliónmi tokenov na podporu reťazcov desiatok vzájomne závislých experimentov. Cieľom je využívať tento výskum na autonómne zlepšovanie agentov pri objavovaní nových výziev.

Podľa Adama by to ľuďom poskytlo viac priestoru ovplyvňovať, ako sa agenty učia a pracujú: „Ľudia môžu dosiahnuť oveľa viac, keď namiesto samotného vykonávania výskumu premýšľajú o tom, ako ho robiť a ako optimalizovať samotný výskumný proces.“