Kako Third Moment Research poganja 10.000 agentov več kot 36 ur

Vsako podjetje ima svoje delovne procese, orodja, posebne primere in merila uspeha. ⁠(odpre se v novem oknu)V podjetju Third Moment Research⁠(odpre se v novem oknu) verjamejo, da morajo biti najboljši agenti resnično dobri pri tem specifičnem delu in da se morajo njihove zmogljivosti z uporabo izboljševati.

Na tej zamisli podjetje gradi sistem umetne inteligence, ki se sam izboljšuje. Z najnovejšimi modeli OpenAI razume vedenje agentov, prepoznava ponavljajoče se slabosti in samodejno ustvarja na tisoče sintetičnih scenarijev, ki obravnavajo te težave. Ekipa s temi scenariji izboljšuje agente in postopek ponovi, ko se pojavijo nove težave.

Codex, GPT‑6 Astra, GPT‑6 Sol in GPT‑6.1 Sol podpirajo raziskovalno in računsko delo sistema ter podjetju Third Moment omogočajo, da hkrati poganja 10.000 agentov pri raziskavah, ki trajajo od 36 do 48 ur. Podjetje uporablja tudi platformo Daybreak za testiranje varnosti okolij, v katerih delujejo agenti.

Eno prvih področij uporabe, ki jih je izbralo podjetje Third Moment, so kvantitativne finance, saj omogočajo jasno merjenje uspeha. To področje ponuja konkretno okolje za preučevanje delovanja agentov in težav, s katerimi se srečujejo. Ekipa uporablja Codex za odkrivanje in odpravljanje težav v raziskovalnem okolju.

V enem primeru je s Codexom in GPT‑5.6, takrat najnovejšim modelom GPT, analizirala na tisoče zabeleženih potekov simulacij (dejanj agentov in odzivov okolja), skupaj s časovnimi žigi in zbirko programske kode.

Codex je odkril ozko grlo: preverjanje trgovalne strategije na enoletnih zgodovinskih podatkih o ameriških delnicah na ravni posameznih naročil je trajalo več ur. Med čakanjem so agenti nenehno preverjali, ali je postopek končan, s tem pa po nepotrebnem porabljali žetone in polnili svoj kontekst s preverjanji stanja.

Po profiliranju preverjanja na zgodovinskih podatkih ter analizi njegovih vhodnih podatkov in uporabe je Codex prepoznal možnost optimizacije predpomnjenja in tehniko strnjenega shranjevanja v pomnilniku. Preizkusil je različne rešitve in popravek uvedel v produkcijsko okolje, s čimer je čas preverjanja skrajšal s približno 3 ur na približno 3 do 5 minut. S tem sta se zmanjšala poraba žetonov in kopičenje nepotrebnih informacij v kontekstu, agentom pa je ostalo več razpoložljivih žetonov za nadaljnje poskuse.

Third Moment vsakemu agentu zagotovi orodja, informacije in okolje, ki jih potrebuje za določeno delo. Za kvantitativno raziskovanje ekipa poganja privzeto ogrodje Codex v okolju, ki temelji na vsebnikih Docker. Agenti prejmejo terabajt podatkov, dokumentacijo in raziskovalni repozitorij z moduli za pripravo značilk, učenje modelov s podporo grafičnih procesorjev, trgovalne strategije in simulacije.

GPT‑6 Astra, GPT‑6 Sol in GPT‑6.1 Sol zagotavljajo sklepanje, ogrodje Codex pa agentom daje orodja za izvajanje dejanj, načrtovanje, postavljanje ciljev, ustvarjanje podagentov in zgoščevanje konteksta med delom.

Da bi rešili težavo agentov, ki se ustavijo, preden dokončajo nalogo, v podjetju Third Moment uporabljajo Codex kot podagenta znotraj zunanjega ogrodja, ki ga poganja GPT‑6 Sol ali GPT‑6.1 Sol. Ko naloga ostane nedokončana, zunanje ogrodje pregleda potek izvajanja in odloči, ali naj poskusi znova, prekine delo ali nalogo preda v človeški pregled.

V tem raziskovalnem okolju agenti izboljšujejo izhodiščni trgovalni sistem, ki so ga razvili inženirji podjetja Third Moment. Trgovalne strategije preizkušajo na zgodovinskih podatkih, ocenjujejo, ali je izboljšanje dejansko ali zgolj posledica šuma, in na podlagi vsakega rezultata izberejo naslednji poskus. Po Adamovih besedah je njihovo delo izboljšalo izhodiščni trgovalni sistem.

Pred GPT‑5.5 so modeli po Adamovih besedah lahko izvajali le poskuse, ki jih je določil uporabnik. Z GPT‑5.5 in GPT‑5.6 so modeli v ogrodju Codex lahko na podlagi rezultatov zasnovali nadaljnje poskuse. Zdaj lahko agenti z GPT‑6 Astra, GPT‑6 Sol in GPT‑6.1 Sol raziskujejo temeljne vzroke z več sto poskusi, ki jih izvajajo vzporedno s podagenti.

Ta napredek je agentom pomagal odkrivati raziskovalne smeri, ki jih ekipa ni predvidela. V eni od sej je GPT‑6.1 Sol ugotovil vpliv poslov z naročili, ki niso javno prikazana, na borzi, kjer so ti posli predstavljali nepričakovano velik delež obsega trgovanja. »To je bila nepričakovana ugotovitev, ki je naša raziskovalna ekipa sprva ni upoštevala,« pravi Adam.

Third Moment ocenjuje modele na področjih optimizacije, sistemov strojnega učenja in kvantitativnega raziskovanja. Prelomne modele preizkuša z najvišjimi nastavitvami sklepanja ter ocenjuje njihovo sposobnost znajdenja v repozitorijih, pisanja učinkovite kode in vztrajanja pri raziskavi. Trenutno testiranje vključuje tudi GPT‑6 Luna.

Eden od primerjalnih preizkusov od agentov zahteva, da zmanjšajo zakasnitev posodobitev v storitvi za prikaz rezultatov v živo, pri tem pa ohranijo njene izhodne podatke. Ekipa meri pospešitev tako, da povprečni čas izvajanja rešitve, ki so jo pripravili strokovnjaki, deli s povprečnim časom izvajanja modelove rešitve na isti strojni opremi, pri čemer mora biti rešitev pravilna. Po Adamovih besedah je največjo pospešitev dosegel GPT‑6 Astra.

Za ciljno usmerjeno delo, vključno s preverjanjem določenih varnostnih pomanjkljivosti v simulacijskem sistemu, ekipa uporablja učinkovitejše modele, kot je GPT‑5.6 Terra. Adam meni, da lahko pri poglobljenem raziskovanju boljše sklepanje upraviči višje stroške: »Na področju kvantitativnih financ je odkritje zanimivega signala izjemno dragoceno.«

Ker 10.000 agentov deluje avtonomno, Third Moment potrebuje način za obsežno testiranje varnosti svojih raziskovalnih okolij. Ekipa s platformo za kibernetsko varnost Daybreak avtomatizira to testiranje pred zagonom simulacij.

Testi preverjajo, ali bi agent lahko zapustil omejitve svojega raziskovalnega okolja in dostopal do širšega omrežja. »S platformo Daybreak lahko agenti sami izvajajo penetracijske teste simulacije ter preizkušajo njeno infrastrukturo in varnost,« pravi Adam.

Ambicije podjetja Third Moment segajo tudi na področje specializiranih nalog, ki jih podjetja opravljajo vsak dan. Za trgovca na drobno bi to lahko pomenilo boljše odločitve v dobavni verigi, ko primanjkuje zalog ali dobavitelj zamuja. Za inženirsko ekipo bi to lahko pomenilo odkrivanje ozkih grl zmogljivosti v obsežni zbirki programske kode. Za podjetje, ki posluje z veliko dokumentacije, bi to lahko pomenilo ugotavljanje, kje se zaveze iz enega dokumenta ne ujemajo z izidi, zabeleženimi v drugem.

Third Moment namerava na podlagi zmogljivosti sklepanja modelov GPT‑6 Astra, GPT‑6 Sol in GPT‑6.1 Sol preiti s posameznih raziskav na več sto tisoč sodelujočih podagentov. Razvojni načrt predvideva bilijone žetonov za podporo verigam več deset medsebojno odvisnih poskusov. Cilj je s temi raziskavami avtonomno izboljševati agente ob pojavu novih izzivov.

Po Adamovem mnenju bi to ljudem omogočilo, da bolj vplivajo na to, kako se agenti učijo in delajo: »Ljudje bi lahko imeli veliko večji vpliv, saj bi razmišljali o tem, kako raziskovati in optimizirati sam raziskovalni proces, namesto da raziskave izvajajo sami.«