Как Third Moment Research запускает 10 000 агентов на 36+ часов

У каждой компании свои рабочие процессы, инструменты, нестандартные ситуации и критерии успеха. ⁠(открывается в новом окне)В Third Moment Research⁠(открывается в новом окне) считают, что лучшие агенты должны отлично справляться именно с этой специфической работой и совершенствоваться по мере использования.

На основе этой идеи компания создаёт самообучающуюся ИИ-систему. Она использует новейшие модели OpenAI, чтобы изучать поведение агентов, выявлять повторяющиеся слабые места и автоматически создавать тысячи синтетических сценариев, связанных с этими проблемами. Команда использует эти сценарии для улучшения агентов и повторяет процесс по мере появления новых проблем.

Codex, GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol обеспечивают исследовательскую и вычислительную работу системы, позволяя Third Moment одновременно запускать 10 000 агентов для исследований длительностью 36–48 часов. Компания также использует Daybreak для проверки безопасности сред, в которых работают агенты.

Одной из первых областей применения системы Third Moment стали количественные финансы: здесь есть чёткие критерии успеха. Эта область даёт конкретную практическую среду для изучения того, как работают агенты и с какими трудностями они сталкиваются. Команда использует Codex, чтобы находить и устранять проблемы в исследовательской среде.

Так, однажды команда использовала Codex с GPT‑5.6 — новейшей на тот момент моделью GPT — для анализа тысяч записанных траекторий симуляций (действий агентов и ответов среды) вместе с временными метками и кодовой базой.

Codex обнаружил узкое место: тестирование торговой стратегии на исторических данных по заявкам на рынке акций США за год занимало несколько часов. В ожидании результата агенты постоянно проверяли, завершилось ли тестирование, расходуя токены впустую и заполняя контекст проверками статуса.

Проведя профилирование тестирования и проанализировав входные данные и способы его использования, Codex нашёл возможность оптимизировать кэширование и применить более плотную упаковку данных в памяти. Он опробовал разные решения и внедрил исправление в рабочую систему, сократив время тестирования примерно с 3 часов до 3–5 минут. Это снизило расход токенов и засорение контекста, оставив агентам больше токенов для дальнейших экспериментов.

Third Moment предоставляет каждому агенту инструменты, информацию и среду, необходимые для конкретной работы. Для количественных исследований команда запускает стандартную обвязку Codex в среде на базе Docker. Агенты получают терабайт данных, документацию и исследовательский репозиторий с модулями для конструирования признаков, обучения моделей с использованием GPU, торговых стратегий и симуляций.

GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol отвечают за рассуждения, а обвязка Codex даёт агентам инструменты для выполнения действий, составления планов, постановки целей, запуска субагентов и сжатия контекста по ходу работы.

Чтобы решить проблему агентов, останавливающихся до завершения задачи, Third Moment использует Codex как субагента во внешней обвязке на базе GPT‑6 Sol или GPT‑6.1 Sol. Если задача остаётся незавершённой, внешняя обвязка анализирует траекторию работы и решает, повторить ли попытку, прекратить выполнение или передать задачу на проверку человеку.

В этой исследовательской среде агенты работают над улучшением базовой торговой системы, созданной инженерами Third Moment. Они тестируют торговые стратегии на исторических данных, оценивают, значимы ли улучшения или это лишь шум, и на основе каждого результата выбирают следующий эксперимент. По словам Адама, их работа позволила улучшить базовую торговую систему.

По словам Адама, до появления GPT‑5.5 модели могли лишь выполнять эксперименты, заданные пользователем. С появлением GPT‑5.5 и GPT‑5.6 модели в обвязке Codex научились использовать результаты для планирования следующих экспериментов. Теперь с GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol агенты могут искать первопричины, проводя сотни экспериментов параллельно с помощью субагентов.

Благодаря этому прогрессу агенты начали изучать направления исследований, которых команда не предвидела. В одном из сеансов GPT‑6.1 Sol выявила влияние сделок по скрытым заявкам на бирже, где на них приходилась неожиданно большая доля объёма торгов. «Это был неочевидный результат, который наша исследовательская команда изначально не рассматривала», — говорит Адам.

Third Moment оценивает модели на задачах оптимизации, работы с системами машинного обучения и количественных исследований. Компания тестирует передовые модели с максимальными настройками рассуждений, оценивая их способность ориентироваться в репозиториях, писать эффективный код и вести длительное исследование. Сейчас в тестировании также участвует GPT‑6 Luna.

В одном из тестов агентам предлагают сократить задержку обновления сервиса онлайн-табло, сохранив неизменными выдаваемые им результаты. Команда измеряет ускорение, деля среднее время выполнения решения, созданного экспертом, на время выполнения решения модели на том же оборудовании — при условии корректности результатов. По словам Адама, наибольшее ускорение обеспечила GPT‑6 Astra.

Для узких задач, в том числе поиска конкретных уязвимостей в системе симуляций, команда использует более экономичные модели, такие как GPT‑5.6 Terra. Для глубоких исследований, считает Адам, более развитые способности к рассуждениям могут оправдать более высокую стоимость: «В количественных финансах обнаружение интересного сигнала имеет огромную ценность».

Когда автономно работают 10 000 агентов, Third Moment нужен способ масштабно проверять безопасность исследовательских сред. Команда использует платформу кибербезопасности Daybreak, чтобы автоматизировать эти проверки перед запуском симуляций.

Тесты проверяют, может ли агент выйти за пределы своей исследовательской среды и получить доступ к остальной сети. «С помощью Daybreak мы можем поручить самим агентам проводить тестирование симуляции на проникновение, проверять её инфраструктуру и безопасность», — говорит Адам.

Third Moment стремится охватить и специализированные задачи, которые компании решают каждый день. Для розничной компании это может означать более эффективные решения по управлению цепочкой поставок при нехватке запасов или задержках со стороны поставщика. Для команды разработчиков — поиск узких мест, снижающих производительность, в большой кодовой базе. Для бизнеса с большим документооборотом — выявление расхождений между обязательствами из одного документа и результатами, зафиксированными в другом.

Опираясь на способности GPT‑6 Astra, GPT‑6 Sol и GPT‑6.1 Sol к рассуждениям, Third Moment планирует перейти от отдельных исследований к сотням тысяч совместно работающих субагентов. В планах компании — использование триллионов токенов для цепочек из десятков взаимозависимых экспериментов. Цель — на основе этих исследований автономно совершенствовать агентов по мере появления новых задач.

По мнению Адама, это даст людям больше возможностей влиять на то, как агенты учатся и работают: «Люди смогут приносить гораздо больше пользы, продумывая подходы к исследованиям и оптимизируя сам исследовательский процесс, вместо того чтобы непосредственно проводить исследования».