„Third Moment Research“: 10 000 agentų dirba ilgiau nei 36 val.

Kiekviena įmonė turi savus darbo procesus, įrankius, išskirtines situacijas ir sėkmės kriterijus. ⁠(atsidaro naujame lange)Third Moment Research⁠(atsidaro naujame lange) mano, kad geriausi agentai turėtų puikiai atlikti būtent tą konkretų darbą, o kuo daugiau jie naudojami, tuo labiau turėtų tobulėti jų gebėjimai.

Remdamasi šia idėja, įmonė kuria savarankiškai tobulėjančią DI sistemą. Naujausi „OpenAI“ modeliai padeda suprasti agentų elgseną, nustatyti pasikartojančius trūkumus ir automatiškai sukurti tūkstančius sintetinių scenarijų šioms problemoms nagrinėti. Komanda naudoja šiuos scenarijus agentams tobulinti ir kartoja procesą, kai iškyla naujų problemų.

„Codex“, „GPT‑6 Astra“, „GPT‑6 Sol“ ir „GPT‑6.1 Sol“ padeda sistemai atlikti tyrimus ir skaičiavimus, todėl „Third Moment“ gali vienu metu pasitelkti 10 000 agentų 36–48 valandas trunkantiems tyrimams. Įmonė taip pat naudoja „Daybreak“ aplinkų, kuriose dirba agentai, saugumui testuoti.

Viena pirmųjų „Third Moment“ taikymo sričių – kiekybiniai finansai, nes čia galima aiškiai išmatuoti sėkmę. Ši sritis suteikia konkrečią aplinką tirti, kaip agentai dirba ir kur susiduria su sunkumais. Komanda pasitelkia „Codex“, kad aptiktų ir spręstų problemas tyrimų aplinkoje.

Vienu atveju ji pasitelkė „Codex“ su „GPT‑5.6“, tuo metu naujausiu GPT modeliu, kad išanalizuotų tūkstančius užfiksuotų simuliacijų eigos įrašų (agentų veiksmų ir aplinkos atsakų) kartu su laiko žymomis ir programiniu kodu.

„Codex“ aptiko našumą ribojančią problemą: prekybos strategijos testavimas pagal metų istorinius JAV akcijų pavedimų lygmens duomenis truko kelias valandas. Laukdami agentai nuolat tikrino, ar testas baigtas, taip švaistydami žetonus ir užpildydami kontekstą būsenos patikromis.

Ištyręs testavimo pagal istorinius duomenis našumą ir išanalizavęs įvesties duomenis bei naudojimą, „Codex“ nustatė, kaip optimizuoti podėlį ir tankiau išdėstyti duomenis atmintyje. Jis išbandė sprendimus ir įdiegė pataisą į gamybinę aplinką, sutrumpindamas testavimą nuo maždaug 3 valandų iki maždaug 3–5 minučių. Taip sumažėjo žetonų sąnaudos ir nereikalingos informacijos kontekste, o agentams liko daugiau žetonų tolesniems eksperimentams.

„Third Moment“ kiekvienam agentui suteikia konkrečiam darbui reikalingus įrankius, informaciją ir aplinką. Kiekybiniams tyrimams komanda naudoja numatytąją „Codex“ infrastruktūrą „Docker“ konteinerių aplinkoje. Agentams suteikiamas terabaitas duomenų, dokumentacija ir tyrimų kodo saugykla su požymių kūrimo, GPU spartinamo modelių mokymo, prekybos strategijų ir simuliavimo moduliais.

„GPT‑6 Astra“, „GPT‑6 Sol“ ir „GPT‑6.1 Sol“ užtikrina protavimą, o „Codex“ infrastruktūra suteikia agentams įrankius veikti, kurti planus, nustatyti tikslus, paleisti antrinius agentus ir darbo metu glaudinti kontekstą.

Kad išspręstų problemą, kai agentai sustoja nebaigę užduoties, „Third Moment“ naudoja „Codex“ kaip antrinį agentą išorinėje infrastruktūroje, veikiančioje su „GPT‑6 Sol“ arba „GPT‑6.1 Sol“. Kai užduotis lieka nebaigta, išorinė infrastruktūra išnagrinėja jos vykdymo eigą ir nusprendžia, ar bandyti dar kartą, nutraukti darbą, ar perduoti jį žmogui peržiūrėti.

Šioje tyrimų aplinkoje agentai tobulina bazinę prekybos sistemą, sukurtą „Third Moment“ inžinierių. Jie testuoja prekybos strategijas pagal istorinius duomenis, vertina, ar pagerėjimas reikšmingas, ar tėra atsitiktinis svyravimas, ir pagal kiekvieną rezultatą pasirenka kitą eksperimentą. Pasak Adamo, jų darbas pagerino bazinę prekybos sistemą.

Pasak Adamo, iki „GPT‑5.5“ modeliai galėjo atlikti tik naudotojo nurodytus eksperimentus. Su „Codex“ infrastruktūra veikiantys „GPT‑5.5“ ir „GPT‑5.6“ modeliai jau galėjo pagal gautus rezultatus suplanuoti tolesnius eksperimentus. Dabar su „GPT‑6 Astra“, „GPT‑6 Sol“ ir „GPT‑6.1 Sol“ agentai gali tirti esmines priežastis, pasitelkdami antrinius agentus šimtams lygiagrečių eksperimentų.

Ši pažanga padėjo agentams imtis tyrimų krypčių, kurių komanda nebuvo numačiusi. Per vieną sesiją „GPT‑6.1 Sol“ nustatė neviešinamų sandorių poveikį biržoje, kurioje šie sandoriai sudarė netikėtai didelę prekybos apimties dalį. „Tai buvo netikėtas rezultatas, kurio mūsų tyrimų komanda iš pradžių nebuvo apsvarsčiusi“, – sako Adamas.

„Third Moment“ vertina modelius optimizavimo, mašininio mokymosi sistemų ir kiekybinių tyrimų srityse. Įmonė testuoja naujus priešakinius modelius su aukščiausiomis protavimo nuostatomis, vertindama jų gebėjimą orientuotis saugyklose, rašyti efektyvų kodą ir nuosekliai tęsti tyrimą. Šiuo metu testuojamas ir „GPT‑6 Luna“.

Viename lyginamajame teste agentams reikia sumažinti tiesioginių rezultatų lentelės paslaugos atnaujinimo delsą nekeičiant jos pateikiamų rezultatų. Komanda matuoja spartėjimą dalydama eksperto sukurto sprendimo vidutinę vykdymo trukmę iš modelio sprendimo vidutinės vykdymo trukmės toje pačioje aparatinėje įrangoje, su sąlyga, kad rezultatai teisingi. Pasak Adamo, didžiausią spartėjimą užtikrino „GPT‑6 Astra“.

Konkrečioms užduotims, įskaitant tam tikrų simuliavimo sistemos saugumo spragų paiešką, komanda naudoja efektyviau išteklius naudojančius modelius, tokius kaip „GPT‑5.6 Terra“. Adamas mano, kad atliekant išsamius tyrimus geresnis protavimas gali pateisinti didesnes išlaidas: „Kiekybinių finansų srityje įdomaus signalo atradimas turi itin didelę vertę.“

Kai autonomiškai veikia 10 000 agentų, „Third Moment“ reikia būdo plačiu mastu testuoti savo tyrimų aplinkų saugumą. Komanda naudoja kibernetinio saugumo platformą „Daybreak“, kad automatizuotų šį testavimą prieš paleisdama simuliacijas.

Testais tikrinama, ar agentas galėtų ištrūkti iš savo tyrimų aplinkos ir pasiekti platesnį tinklą. „Naudodami Daybreak, galime patiems agentams pavesti atlikti simuliacijos įsilaužimo testus ir tikrinti jos infrastruktūrą bei saugumą“, – sako Adamas.

„Third Moment“ ambicijos apima ir specializuotą darbą, kurį įmonės atlieka kasdien. Mažmenininkui tai galėtų reikšti geresnius tiekimo grandinės sprendimus, kai trūksta atsargų arba vėluoja tiekėjas. Inžinierių komandai – našumą ribojančių vietų paiešką didelėje kodo bazėje. Įmonei, dirbančiai su daugybe dokumentų, – nustatymą, kur viename dokumente prisiimti įsipareigojimai neatitinka kitame užfiksuotų rezultatų.

Remdamasi „GPT‑6 Astra“, „GPT‑6 Sol“ ir „GPT‑6.1 Sol“ protavimo gebėjimais, „Third Moment“ planuoja nuo pavienių tyrimų pereiti prie šimtų tūkstančių bendradarbiaujančių antrinių agentų. Įmonės plane numatyta trilijonus žetonų skirti dešimčių vienas nuo kito priklausančių eksperimentų sekoms. Siekiama šiais tyrimais autonomiškai tobulinti agentus, kai kyla naujų iššūkių.

Adamo manymu, tai suteiktų žmonėms daugiau galimybių lemti, kaip agentai mokosi ir dirba: „Žmonės galėtų nuveikti gerokai daugiau, galvodami, kaip atlikti tyrimus ir tobulinti patį tyrimų procesą, užuot patys vykdę tyrimus.“