Kā Third Moment Research darbina 10 000 aģentu vairāk nekā 36 h

Katram uzņēmumam ir savas darbplūsmas, rīki, nestandarta situācijas un panākumu kritēriji. ⁠(atveras jaunā logā)Third Moment Research⁠(atveras jaunā logā) uzskata, ka labākajiem aģentiem ir izcili jāveic tieši šis specifiskais darbs un to spējām jāpilnveidojas, jo vairāk tos izmanto.

Balstoties uz šo ideju, uzņēmums veido MI sistēmu, kas pati sevi pilnveido. Tā izmanto jaunākos OpenAI modeļus, lai izprastu aģentu uzvedību, noteiktu atkārtotas nepilnības un automātiski izveidotu tūkstošiem sintētisku scenāriju šo problēmu risināšanai. Komanda izmanto šos scenārijus aģentu pilnveidošanai, atkārtojot procesu, kad rodas jaunas problēmas.

Codex, GPT‑6 Astra, GPT‑6 Sol un GPT‑6.1 Sol nodrošina sistēmas pētniecisko darbu un aprēķinus, ļaujot Third Moment vienlaikus darbināt 10 000 aģentu izpētes uzdevumos, kas ilgst 36–48 stundas. Uzņēmums izmanto arī Daybreak, lai testētu to vižu drošību, kurās strādā aģenti.

Viens no Third Moment sākotnējiem lietojuma virzieniem ir kvantitatīvās finanses, jo šajā jomā panākumus var skaidri izmērīt. Šī joma piedāvā konkrētu vidi, kurā pētīt, kā aģenti strādā un kas tiem sagādā grūtības. Komanda izmanto Codex, lai atrastu un novērstu problēmas izpētes vidē.

Kādā gadījumā tā izmantoja Codex ar GPT‑5.6 — tobrīd jaunāko GPT modeli —, lai analizētu tūkstošiem ierakstītu simulāciju gaitu (aģentu darbības un vides atbildes) kopā ar laikspiedoliem un koda bāzi.

Codex atklāja veiktspējas ierobežojumu: tirdzniecības stratēģijas pārbaude ar ASV akciju tirgus vēsturiskajiem datiem rīkojumu līmenī par vienu gadu aizņēma vairākas stundas. Gaidot rezultātus, aģenti atkārtoti vaicāja, vai pārbaude ir pabeigta, tā izšķērdējot tekstvienības un piepildot savu kontekstu ar statusa pārbaudēm.

Pēc vēsturisko datu pārbaudes profilēšanas un tās ievaddatu un lietojuma analīzes Codex atrada iespēju optimizēt kešatmiņas izmantošanu un paņēmienu datu kompaktākai izvietošanai atmiņā. Tas izmēģināja risinājumus un ieviesa labojumu produkcijas vidē, saīsinot pārbaudes laiku no aptuveni 3 stundām līdz aptuveni 3–5 minūtēm. Tas samazināja tekstvienību patēriņu un konteksta piepildīšanu ar lieku informāciju, atstājot lielāku daļu aģentu tekstvienību budžeta turpmākiem eksperimentiem.

Third Moment katram aģentam nodrošina konkrētajam darbam nepieciešamos rīkus, informāciju un vidi. Kvantitatīvajai izpētei komanda darbina noklusējuma Codex izpildes ietvaru Docker konteineru vidē. Aģenti saņem terabaitu datu, dokumentāciju un izpētes repozitoriju ar moduļiem pazīmju veidošanai, modeļu apmācībai ar GPU atbalstu, tirdzniecības stratēģijām un simulācijām.

GPT‑6 Astra, GPT‑6 Sol un GPT‑6.1 Sol nodrošina spriestspēju, savukārt Codex izpildes ietvars dod aģentiem rīkus, lai tie varētu rīkoties, veidot plānus, izvirzīt mērķus, izveidot apakšaģentus un darba gaitā kompaktēt kontekstu.

Lai risinātu situācijas, kad aģenti pārtrauc darbu pirms uzdevuma pabeigšanas, Third Moment izmanto Codex kā apakšaģentu ārējā izpildes ietvarā, ko darbina GPT‑6 Sol vai GPT‑6.1 Sol. Ja uzdevums paliek nepabeigts, ārējais izpildes ietvars pārbauda darbību gaitu un nosaka, vai mēģināt vēlreiz, izbeigt darbu vai nodot to cilvēkam pārskatīšanai.

Šajā izpētes vidē aģenti strādā pie Third Moment inženieru izveidotās sākotnējās tirdzniecības sistēmas uzlabošanas. Tie testē tirdzniecības stratēģijas ar vēsturiskiem datiem, izvērtē, vai uzlabojums ir nozīmīgs vai tikai nejaušas svārstības, un izmanto katru rezultātu, lai izvēlētos nākamo eksperimentu. Kā stāsta Adams, to darbs ir uzlabojis sākotnējo tirdzniecības sistēmu.

Kā stāsta Adams, pirms GPT‑5.5 modeļi spēja veikt tikai lietotāja noteiktus eksperimentus. GPT‑5.5 un GPT‑5.6, strādājot ar Codex izpildes ietvaru, jau spēja izmantot rezultātus turpmāko eksperimentu plānošanai. Tagad ar GPT‑6 Astra, GPT‑6 Sol un GPT‑6.1 Sol aģenti var pētīt pamatcēloņus simtiem eksperimentu, ko tie veic paralēli ar apakšaģentu palīdzību.

Šī attīstība ir palīdzējusi aģentiem pievērsties izpētes virzieniem, kurus komanda nebija paredzējusi. Vienā sesijā GPT‑6.1 Sol noteica slēpto darījumu ietekmi biržā, kurā šie darījumi veidoja negaidīti lielu tirdzniecības apjoma daļu. „Tas bija neacīmredzams rezultāts, kuru mūsu pētnieku komanda sākotnēji nebija apsvērusi,“ saka Adams.

Third Moment novērtē modeļus optimizācijas, mašīnmācīšanās sistēmu un kvantitatīvās izpētes uzdevumos. Uzņēmums testē robežšķirtnes modeļu laidienus ar visaugstākajiem spriestspējas iestatījumiem, vērtējot to spēju orientēties repozitorijos, rakstīt efektīvu kodu un ilgstoši turpināt izpēti. Pašlaik tiek testēts arī GPT‑6 Luna.

Vienā etalontestā aģentiem jāsamazina reāllaika rezultātu tablo pakalpojuma atjaunināšanas aizture, nemainot tā izvaddatus. Komanda mēra paātrinājumu, dalot eksperta izstrādāta risinājuma vidējo izpildlaiku ar modeļa risinājuma vidējo izpildlaiku uz tās pašas aparatūras, ar nosacījumu, ka rezultāti ir pareizi. Pēc Adama teiktā, vislielāko paātrinājumu nodrošināja GPT‑6 Astra.

Konkrētiem uzdevumiem, tostarp noteiktu drošības nepilnību pārbaudēm simulācijas sistēmā, komanda izmanto resursefektīvākus modeļus, piemēram, GPT‑5.6 Terra. Adams uzskata, ka dziļajā izpētē labāka spriestspēja var attaisnot augstākas izmaksas: „Kvantitatīvo finanšu jomā interesanta signāla atklāšanai ir ārkārtīgi liela vērtība.“

Tā kā autonomi strādā 10 000 aģentu, Third Moment ir vajadzīgs veids, kā plašā mērogā testēt savu izpētes vižu drošību. Komanda izmanto kiberdrošības platformu Daybreak, lai automatizētu šo testēšanu pirms simulāciju palaišanas.

Testos tiek pārbaudīts, vai aģents varētu izkļūt no savas izpētes vides un piekļūt plašākam tīklam. „Izmantojot Daybreak, varam uzticēt pašiem aģentiem veikt simulācijas ielaušanās testus un pārbaudīt tās infrastruktūru un drošību,“ saka Adams.

Third Moment ieceres aptver arī specializētos darbus, ko uzņēmumi veic ikdienā. Mazumtirgotājam tas varētu nozīmēt labākus lēmumus piegādes ķēdes pārvaldībā, kad trūkst krājumu vai kavējas piegāde. Inženieru komandai tas varētu nozīmēt veiktspējas ierobežojumu atrašanu lielā koda bāzē. Uzņēmumam ar lielu dokumentu apriti tas varētu nozīmēt tādu gadījumu atklāšanu, kuros vienā dokumentā noteiktās saistības neatbilst citā fiksētajiem rezultātiem.

Balstoties uz GPT‑6 Astra, GPT‑6 Sol un GPT‑6.1 Sol spriestspēju, Third Moment plāno pāriet no atsevišķiem izpētes uzdevumiem uz simtiem tūkstošu apakšaģentu sadarbību. Uzņēmuma attīstības plāns paredz izmantot biljoniem tekstvienību, lai veiktu desmitiem savstarpēji atkarīgu eksperimentu virknes. Mērķis ir ar šīs izpētes palīdzību autonomi pilnveidot aģentus, rodoties jauniem izaicinājumiem.

Adams uzskata, ka tas dotu cilvēkiem lielākas iespējas noteikt, kā aģenti mācās un strādā: „Cilvēki var panākt daudz vairāk, domājot par to, kā veikt izpēti un optimizēt pašu izpētes procesu, nevis veicot izpēti paši.“