Jak Third Moment Research provozuje 10 000 agentů přes 36 hodin

Každá firma má vlastní pracovní postupy, nástroje, nestandardní situace i měřítka úspěchu. ⁠(otevře se v novém okně)Společnost Third Moment Research⁠(otevře se v novém okně) věří, že nejlepší agenti by měli takovou specifickou práci opravdu dobře zvládat a s častějším používáním své schopnosti zlepšovat.

Na této myšlence staví systém AI, který se sám zdokonaluje. Pomocí nejnovějších modelů OpenAI zkoumá chování agentů, odhaluje opakující se slabiny a automaticky vytváří tisíce syntetických scénářů zaměřených na tyto problémy. Tým tyto scénáře využívá ke zlepšování agentů a s každým novým problémem celý proces opakuje.

Codex, GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol zajišťují výzkumnou a výpočetní práci systému. Díky nim může Third Moment provozovat 10 000 agentů současně při výzkumu trvajícím 36–48 hodin. Společnost také pomocí Daybreak testuje zabezpečení prostředí, ve kterých agenti pracují.

Jednou z prvních oblastí využití technologie Third Moment jsou kvantitativní finance, kde lze úspěch jasně měřit. Tento obor nabízí konkrétní prostředí pro zkoumání toho, jak agenti pracují a s čím mají potíže. Tým pomocí Codexu vyhledává a řeší problémy ve výzkumném prostředí.

V jednom případě využil Codex s tehdy nejnovějším modelem GPT‑5.6 k analýze tisíců zaznamenaných průběhů simulací (akcí agentů a reakcí prostředí) spolu s časovými značkami a zdrojovým kódem.

Codex odhalil úzké hrdlo: zpětné testování obchodní strategie na ročních datech amerického akciového trhu na úrovni jednotlivých pokynů trvalo několik hodin. Během čekání se agenti opakovaně dotazovali na dokončení testu, čímž plýtvali tokeny a zaplňovali si kontext kontrolami stavu.

Po profilování zpětného testu a analýze jeho vstupů a způsobu použití Codex našel možnost optimalizace pomocí mezipaměti a úspornějšího uspořádání dat v paměti. Vyzkoušel různá řešení a nasadil opravu do produkce. Zpětný test tak zkrátil z přibližně 3 hodin na zhruba 3 až 5 minut. Tím se snížila spotřeba tokenů i zahlcení kontextu zbytečnými informacemi a agentům zůstalo více tokenů na další experimenty.

Third Moment dává každému agentovi nástroje, informace a prostředí, které potřebuje pro konkrétní práci. Pro kvantitativní výzkum tým spouští výchozí harness Codexu v prostředí kontejnerizovaném pomocí Dockeru. Agenti dostávají terabajt dat, dokumentaci a výzkumné úložiště s moduly pro tvorbu příznaků, trénování modelů s podporou GPU, obchodní strategie a simulace.

GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol zajišťují uvažování, zatímco harness Codexu poskytuje agentům nástroje k provádění akcí, plánování, stanovování cílů, spouštění dílčích agentů a průběžnému zhušťování kontextu.

Aby Third Moment řešil případy, kdy agenti skončí před dokončením úkolu, používá Codex jako dílčího agenta ve vnějším harnessu, který využívá GPT‑6 Sol nebo GPT‑6.1 Sol. Pokud úkol zůstane nedokončený, vnější harness prozkoumá dosavadní průběh a rozhodne, zda pokus zopakovat, úlohu ukončit, nebo ji předat ke kontrole člověku.

V tomto výzkumném prostředí agenti pracují na vylepšování výchozího obchodního systému, který vytvořili inženýři Third Moment. Testují obchodní strategie na historických datech, posuzují, zda je zlepšení skutečně významné, nebo jde jen o šum, a podle každého výsledku volí další experiment. Podle Adama jejich práce výchozí obchodní systém zlepšila.

Před příchodem GPT‑5.5 dokázaly modely podle Adama provádět pouze experimenty předepsané uživatelem. Modely GPT‑5.5 a GPT‑5.6 pracující s harnessem Codexu už mohly na základě výsledků navrhovat navazující experimenty. Nyní mohou agenti s modely GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol zkoumat prvotní příčiny pomocí stovek experimentů probíhajících souběžně za pomoci dílčích agentů.

Díky tomuto pokroku se agenti mohli vydat směry výzkumu, které tým nepředvídal. V jedné relaci GPT‑6.1 Sol odhalil vliv obchodů nezobrazených v knize objednávek na burze, kde tvořily nečekaně velký podíl objemu obchodování. „Bylo to nečekané zjištění, se kterým náš výzkumný tým původně nepočítal,“ říká Adam.

Third Moment hodnotí modely v oblasti optimalizace, systémů strojového učení a kvantitativního výzkumu. Testuje nové průkopnické modely s nejvyšším nastavením uvažování a posuzuje jejich schopnost orientovat se v úložištích, psát efektivní kód a vytrvat ve výzkumu. Aktuálně testuje také GPT‑6 Luna.

V jednom benchmarku mají agenti zkrátit prodlevu aktualizací služby s průběžnými výsledky, aniž by změnili její výstupy. Tým měří zrychlení jako poměr průměrné doby běhu řešení vytvořeného odborníkem k době běhu řešení modelu na stejném hardwaru, přičemž podmínkou je správnost výsledků. Největšího zrychlení podle Adama dosáhl GPT‑6 Astra.

Pro cílené úkoly, včetně kontrol konkrétních bezpečnostních slabin v simulačním systému, tým používá úspornější modely, například GPT‑5.6 Terra. U hloubkového výzkumu mohou podle Adama lepší schopnosti uvažování ospravedlnit vyšší náklady: „V kvantitativních financích má nalezení zajímavého signálu mimořádně vysokou hodnotu.“

Při provozu 10 000 autonomních agentů potřebuje Third Moment způsob, jak ve velkém měřítku testovat zabezpečení svých výzkumných prostředí. Tým využívá platformu Daybreak pro kybernetickou bezpečnost k automatizaci těchto testů před spuštěním simulací.

Testy ověřují, zda by agent mohl uniknout ze svého výzkumného prostředí a získat přístup do širší sítě. „Díky Daybreak mohou sami agenti provádět penetrační testy simulace a prověřovat její infrastrukturu i zabezpečení,“ říká Adam.

Ambice Third Moment sahají až ke specializované práci, kterou firmy vykonávají každý den. Pro maloobchodníka to může znamenat lepší rozhodování o dodavatelském řetězci, když docházejí zásoby nebo má dodavatel zpoždění. Pro vývojový tým to může znamenat odhalování úzkých hrdel výkonu v rozsáhlé kódové základně. Pro firmu, která pracuje s velkým množstvím dokumentů, to může znamenat zjišťování, kde se závazky z jednoho dokumentu rozcházejí s výsledky zaznamenanými v jiném.

Third Moment plánuje s využitím schopností uvažování modelů GPT‑6 Astra, GPT‑6 Sol a GPT‑6.1 Sol přejít od jednotlivých výzkumných úloh ke statisícům spolupracujících dílčích agentů. V plánu jsou biliony tokenů pro řetězce desítek na sebe navazujících experimentů. Cílem je využít tento výzkum k autonomnímu zlepšování agentů v reakci na nové výzvy.

Podle Adama by tak lidé získali více prostoru určovat, jak se agenti učí a pracují: „Lidé mohou mít mnohem větší vliv. Místo samotného provádění výzkumu mohou přemýšlet o tom, jak ho dělat, a zlepšovat výzkumný proces jako takový.“