Як Third Moment Research запускає 10 000 агентів на 36+ годин

Кожна компанія має власні робочі процеси, інструменти, нестандартні ситуації та критерії успіху. ⁠(відкривається у новому вікні)Third Moment Research⁠(відкривається у новому вікні) вважає, що найкращі агенти мають досконало виконувати саме цю специфічну роботу й удосконалювати свої можливості в міру використання.

На основі цієї ідеї компанія створює систему ШІ, що самовдосконалюється. Вона використовує найновіші моделі OpenAI, щоб аналізувати поведінку агентів, виявляти повторювані недоліки й автоматично створювати тисячі синтетичних сценаріїв навколо цих проблем. Команда використовує ці сценарії для вдосконалення агентів і повторює процес у міру появи нових проблем.

Codex, GPT‑6 Astra, GPT‑6 Sol і GPT‑6.1 Sol забезпечують дослідницьку та обчислювальну роботу системи, даючи Third Moment змогу одночасно запускати 10 000 агентів для досліджень тривалістю 36–48 годин. Компанія також використовує Daybreak для перевірки безпеки середовищ, у яких працюють агенти.

Одним із перших напрямів застосування розробок Third Moment став кількісний фінансовий аналіз, адже в цій галузі є чіткий критерій успіху. Ця галузь дає конкретне середовище для вивчення того, як працюють агенти й де стикаються з труднощами. Команда використовує Codex для пошуку й усунення проблем у дослідницькому середовищі.

Одного разу команда за допомогою Codex із GPT‑5.6 — найновішою на той час моделлю GPT — проаналізувала тисячі записаних траєкторій симуляцій (дій агентів і реакцій середовища) разом із часовими мітками та кодовою базою.

Codex виявив вузьке місце: тестування торгової стратегії на річних історичних даних про акції США з деталізацією до окремих заявок тривало кілька годин. Під час очікування агенти знову й знову перевіряли, чи завершилося тестування, марнуючи токени та заповнюючи контекст перевірками статусу.

Після профілювання тестування на історичних даних та аналізу його вхідних даних і використання Codex визначив спосіб оптимізації кешування й метод щільнішого розміщення даних у пам’яті. Codex поекспериментував із рішеннями та впровадив виправлення у виробничому середовищі, скоротивши час тестування з приблизно 3 годин до 3–5 хвилин. Це зменшило витрати токенів і засмічення контексту, залишивши агентам більше токенів для подальших експериментів.

Third Moment надає кожному агенту інструменти, інформацію та середовище, потрібні для конкретної роботи. Для кількісних досліджень команда запускає стандартну систему harness Codex у середовищі, контейнеризованому за допомогою Docker. Агенти отримують терабайт даних, документацію та дослідницький репозиторій із модулями для конструювання ознак, навчання моделей із підтримкою GPU, торгових стратегій і симуляцій.

GPT‑6 Astra, GPT‑6 Sol і GPT‑6.1 Sol забезпечують міркування, а система harness Codex надає агентам інструменти для виконання дій, складання планів, визначення цілей, створення субагентів і стиснення контексту в процесі роботи.

Щоб розв’язати проблему агентів, які зупиняються, не завершивши завдання, Third Moment використовує Codex як субагента в зовнішній системі harness на базі GPT‑6 Sol або GPT‑6.1 Sol. Коли завдання залишається незавершеним, зовнішня система harness аналізує траєкторію виконання й визначає, чи варто повторити спробу, припинити роботу або передати завдання на перевірку людині.

У цьому дослідницькому середовищі агенти працюють над удосконаленням базової торгової системи, створеної інженерами Third Moment. Вони тестують торгові стратегії на історичних даних, оцінюють, чи є покращення значущим, чи це лише шум, і на основі кожного результату обирають наступний експеримент. За словами Адама, завдяки їхній роботі базова торгова система стала кращою.

За словами Адама, до появи GPT‑5.5 моделі могли лише виконувати експерименти, задані користувачем. Із появою GPT‑5.5 і GPT‑5.6 моделі, що працювали із системою harness Codex, змогли використовувати результати для планування наступних експериментів. Тепер завдяки GPT‑6 Astra, GPT‑6 Sol і GPT‑6.1 Sol агенти можуть досліджувати першопричини, проводячи сотні експериментів паралельно із субагентами.

Цей поступ допоміг агентам досліджувати напрями, яких команда не передбачала. Під час одного сеансу GPT‑6.1 Sol виявила вплив угод за прихованими заявками на біржі, де такі угоди становили несподівано велику частку обсягу торгів. «Це був неочевидний результат, якого наша дослідницька команда спочатку не розглядала», — каже Адам.

Third Moment оцінює моделі в завданнях з оптимізації, систем машинного навчання та кількісних досліджень. Компанія тестує нові передові моделі з максимальними налаштуваннями міркування, оцінюючи їхню здатність орієнтуватися в репозиторіях, писати ефективний код і тривалий час вести дослідження. Зараз також тестують GPT‑6 Luna.

В одному з тестів агентам потрібно зменшити затримку оновлення сервісу табло результатів, що працює в реальному часі, не змінюючи його вихідних даних. Команда вимірює прискорення, ділячи середній час виконання рішення, створеного експертом, на час виконання рішення моделі на тому самому обладнанні, за умови коректності результатів. За словами Адама, найбільше прискорення забезпечила GPT‑6 Astra.

Для вузькоспрямованих завдань, зокрема перевірок конкретних вразливостей у системі симуляцій, команда використовує економніші моделі, як-от GPT‑5.6 Terra. Адам вважає, що в поглиблених дослідженнях сильніші можливості міркування можуть виправдовувати вищу вартість: «У кількісному фінансовому аналізі знайти цікавий сигнал — надзвичайно цінно».

Оскільки 10 000 агентів працюють автономно, Third Moment потрібен спосіб масштабно перевіряти безпеку своїх дослідницьких середовищ. Команда використовує платформу кібербезпеки Daybreak, щоб автоматизувати ці перевірки перед запуском симуляцій.

Тести перевіряють, чи може агент вийти за межі свого дослідницького середовища й отримати доступ до ширшої мережі. «Завдяки Daybreak ми можемо доручати самим агентам тестування симуляції на проникнення та перевірку її інфраструктури й безпеки», — каже Адам.

Амбіції Third Moment поширюються й на спеціалізовані завдання, які компанії виконують щодня. Для роздрібного продавця це може означати кращі рішення щодо ланцюга постачання, коли запаси закінчуються або постачальник затримується. Для інженерної команди — пошук вузьких місць продуктивності у великій кодовій базі. Для бізнесу з великим документообігом — виявлення розбіжностей між зобов’язаннями в одному документі та результатами, зафіксованими в іншому.

Спираючись на можливості міркування GPT‑6 Astra, GPT‑6 Sol і GPT‑6.1 Sol, Third Moment планує перейти від окремих досліджень до сотень тисяч субагентів, що співпрацюють між собою. План розвитку компанії передбачає використання трильйонів токенів для ланцюжків із десятків взаємозалежних експериментів. Мета — використовувати ці дослідження для автономного вдосконалення агентів у міру появи нових викликів.

На думку Адама, це дасть людям більше можливостей впливати на те, як агенти навчаються й працюють: «Люди зможуть значно посилити свій вплив: замість того щоб самостійно проводити дослідження, вони зосередяться на тому, як їх організувати та вдосконалити сам дослідницький процес».