Third Moment Research: 10 000 agentów pracuje ponad 36 godzin

Każda firma ma własne procesy i narzędzia, musi radzić sobie z nietypowymi sytuacjami i na swój sposób definiuje sukces. ⁠(otwiera nowe okno)Third Moment Research⁠(otwiera nowe okno) uważa, że najlepsze agenty powinny świetnie radzić sobie z zadaniami charakterystycznymi dla danej firmy i stawać się w tym coraz lepsze, im częściej się z nich korzysta.

Na tej idei firma opiera samodoskonalący się system AI. Wykorzystuje najnowsze modele OpenAI, by zrozumieć zachowanie agentów, identyfikować powtarzające się słabości i automatycznie tworzyć tysiące syntetycznych scenariuszy dotyczących tych problemów. Zespół wykorzystuje te scenariusze do ulepszania agentów i powtarza ten proces, gdy pojawiają się nowe problemy.

Codex, GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol wspierają prace badawcze i obliczeniowe systemu, umożliwiając Third Moment jednoczesne uruchamianie 10 000 agentów prowadzących badania trwające 36–48 godzin. Firma korzysta również z Daybreak do testowania bezpieczeństwa środowisk, w których pracują agenty.

Jednym z pierwszych obszarów zastosowania agentów Third Moment są finanse ilościowe, w których można jednoznacznie mierzyć sukces. Dziedzina ta daje konkretne warunki do badania sposobu pracy agentów i trudności, na jakie natrafiają. Zespół korzysta z Codex do wykrywania i rozwiązywania problemów w środowisku badawczym.

W jednym z przypadków użył Codex z GPT‑5.6 — najnowszym wówczas modelem GPT — do przeanalizowania tysięcy zarejestrowanych przebiegów symulacji (działań agentów i reakcji środowiska) wraz ze znacznikami czasu i bazą kodu.

Codex wykrył wąskie gardło: testowanie strategii inwestycyjnej na rocznych danych historycznych o zleceniach na amerykańskim rynku akcji trwało kilka godzin. Czekając, agenty wielokrotnie sprawdzały, czy test się zakończył, marnując tokeny i wypełniając kontekst zapytaniami o status.

Po sprofilowaniu testu historycznego oraz przeanalizowaniu jego danych wejściowych i sposobu użycia Codex wskazał możliwość optymalizacji pamięci podręcznej i technikę ciaśniejszego upakowania danych w pamięci. Przetestował różne rozwiązania i wdrożył poprawkę w środowisku produkcyjnym, skracając czas testu historycznego z około 3 godzin do około 3–5 minut. Zmniejszyło to zużycie tokenów i ilość zbędnych treści w kontekście, pozostawiając agentom większą część budżetu tokenów na kolejne eksperymenty.

Third Moment zapewnia każdemu agentowi narzędzia, informacje i środowisko potrzebne do konkretnego zadania. Na potrzeby badań ilościowych zespół uruchamia domyślne otoczenie operacyjne Codex w środowisku opartym na kontenerach Docker. Agenty otrzymują terabajt danych, dokumentację oraz repozytorium badawcze z modułami do inżynierii cech, trenowania modeli z użyciem GPU, strategii inwestycyjnych i symulacji.

GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol odpowiadają za rozumowanie, a otoczenie operacyjne Codex zapewnia agentom narzędzia do działania, tworzenia planów, wyznaczania celów, uruchamiania subagentów i kompresowania kontekstu w toku pracy.

Aby rozwiązać problem agentów, które przerywają pracę przed ukończeniem zadania, Third Moment wykorzystuje Codex jako subagenta w zewnętrznym otoczeniu operacyjnym opartym na GPT‑6 Sol lub GPT‑6.1 Sol. Gdy zadanie pozostaje niedokończone, zewnętrzne otoczenie operacyjne analizuje przebieg działań i decyduje, czy ponowić próbę, zakończyć zadanie, czy przekazać je do weryfikacji człowiekowi.

W tym środowisku badawczym agenty pracują nad ulepszeniem bazowego systemu inwestycyjnego stworzonego przez inżynierów Third Moment. Testują strategie inwestycyjne na danych historycznych, oceniają, czy poprawa jest istotna, czy wynika z szumu, i na podstawie każdego wyniku wybierają kolejny eksperyment. Jak mówi Adam, ich praca pozwoliła ulepszyć bazowy system inwestycyjny.

Jak mówi Adam, przed GPT‑5.5 modele potrafiły jedynie przeprowadzać eksperymenty wskazane przez użytkownika. Wraz z GPT‑5.5 i GPT‑5.6 modele pracujące w otoczeniu operacyjnym Codex zyskały możliwość projektowania kolejnych eksperymentów na podstawie uzyskanych wyników. Teraz, dzięki GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol, agenty mogą docierać do źródeł problemów, prowadząc z pomocą subagentów setki równoległych eksperymentów.

Ten postęp pomógł agentom badać kierunki, których zespół nie przewidział. Podczas jednej z sesji GPT‑6.1 Sol zidentyfikował wpływ transakcji z niewidocznych zleceń na giełdzie, na której stanowiły one nieoczekiwanie duży udział w wolumenie obrotu. „Był to nieoczywisty wynik, którego nasz zespół badawczy początkowo nie brał pod uwagę” — mówi Adam.

Third Moment ocenia modele w obszarach optymalizacji, systemów uczenia maszynowego i badań ilościowych. Testuje nowe wersje pionierskich modeli przy najwyższych ustawieniach rozumowania, oceniając ich zdolność do poruszania się po repozytoriach, pisania wydajnego kodu i konsekwentnego prowadzenia badań. Obecne testy obejmują również GPT‑6 Luna.

W jednym z testów porównawczych agenty mają zmniejszyć opóźnienie aktualizacji w usłudze prezentującej wyniki na żywo, bez zmiany zwracanych przez nią danych. Zespół mierzy przyspieszenie, dzieląc średni czas działania rozwiązania opracowanego przez eksperta przez średni czas działania rozwiązania modelu na tym samym sprzęcie, pod warunkiem uzyskania poprawnych wyników. Według Adama największe przyspieszenie zapewnił GPT‑6 Astra.

Do ściśle określonych zadań, w tym sprawdzania konkretnych luk w zabezpieczeniach systemu symulacyjnego, zespół używa bardziej oszczędnych modeli, takich jak GPT‑5.6 Terra. W przypadku głębokich badań Adam uważa, że lepsze rozumowanie może uzasadniać wyższy koszt: „W finansach ilościowych znalezienie interesującego sygnału ma niezwykle dużą wartość”.

Przy 10 000 autonomicznie działających agentach Third Moment potrzebuje sposobu na testowanie bezpieczeństwa swoich środowisk badawczych na dużą skalę. Zespół korzysta z platformy cyberbezpieczeństwa Daybreak, aby zautomatyzować te testy przed uruchomieniem symulacji.

Testy sprawdzają, czy agent mógłby wydostać się ze swojego środowiska badawczego i uzyskać dostęp do sieci poza nim. „Dzięki Daybreak możemy zlecić samym agentom przeprowadzanie testów penetracyjnych symulacji oraz sprawdzanie jej infrastruktury i zabezpieczeń” — mówi Adam.

Ambicje Third Moment obejmują też specjalistyczne zadania, które firmy wykonują na co dzień. Dla sprzedawcy detalicznego mogłoby to oznaczać lepsze decyzje dotyczące łańcucha dostaw, gdy brakuje zapasów lub dostawca się spóźnia. Dla zespołu inżynierów mogłoby to oznaczać wykrywanie wąskich gardeł wydajności w dużej bazie kodu. Dla firmy pracującej z dużą ilością dokumentów mogłoby to oznaczać wykrywanie rozbieżności między zobowiązaniami zapisanymi w jednym dokumencie a wynikami odnotowanymi w innym.

Wykorzystując zdolności rozumowania modeli GPT‑6 Astra, GPT‑6 Sol i GPT‑6.1 Sol, Third Moment planuje przejść od pojedynczych badań do setek tysięcy współpracujących subagentów. Plan rozwoju zakłada wykorzystanie bilionów tokenów do obsługi łańcuchów złożonych z dziesiątek zależnych od siebie eksperymentów. Celem jest wykorzystanie tych badań do autonomicznego ulepszania agentów w miarę pojawiania się nowych wyzwań.

Zdaniem Adama dałoby to ludziom większe możliwości kształtowania sposobu, w jaki agenty uczą się i pracują: „Ludzie mogą zyskać znacznie większy wpływ, skupiając się na sposobach prowadzenia badań i usprawnianiu procesu badawczego, zamiast samodzielnie je wykonywać”.