Asana снижает затраты на модель в 76 раз с GPT‑6.1 Sol
С GPT‑6 Astra в Codex Asana снизила затраты на браузерного агента в 76 раз и ускорила его в 5 раз в тестах, чтобы предлагать клиентам более мощные модели.
76×
Ниже расчётные затраты на модель с оптимизированным процессом на GPT-6.1 Sol
5×
Быстрее выполняются задачи в браузере с оптимизированным процессом на GPT-6.1 Sol
0,47 $
Средние расчётные затраты на модель в оптимизированном процессе на GPT-6.1 Sol
Проводя эксперименты с помощью GPT‑6 Astra в Codex, Asana оптимизировала рабочий процесс браузерного агента на GPT‑6.1 Sol: он стал в 76 раз дешевле и в 5 раз быстрее.
Asana помогает клиентам автоматизировать работу в бизнес-приложениях с помощью платформы StackAI(открывается в новом окне), которую компания приобрела(открывается в новом окне). В StackAI клиенты могут без написания кода создавать рабочие процессы для навигации по сайтам, заполнения форм и сбора информации. В масштабах Asana даже небольшие потери эффективности в этих процессах дают ощутимый суммарный эффект.
Фрэнк Идальго, PhD, технический директор StackAI в Asana, решил ускорить работу браузерного агента и снизить затраты на неё. Он поручил GPT‑6 Astra в Codex изучить агента, протестировать улучшения и сравнить результаты. Работа, на которую вручную, по его оценке, ушло бы от одного до двух месяцев, заняла около недели.
В исследовании Asana из 144 запусков(открывается в новом окне) тестировались GPT‑6.1 Sol и ещё три передовые модели, обозначенные здесь как модели A, B и C. Полученный оптимизированный процесс на GPT‑6.1 Sol в среднем требовал около четырёх минут на запуск, а расчётные затраты на модель составляли 0,47 доллара — в 76 раз дешевле и в 5 раз быстрее, чем исходная рабочая конфигурация на модели B.
«Вот как на практике выглядит совместная работа людей и агентов. Инженер задал направление, GPT-6 Astra провела эксперименты, а результаты через Command попали в рабочую среду. Это показывает, как Asana воплощает в жизнь идею команд из людей и агентов».
Чтобы быстрее продвинуться в работе, Идальго сначала поручил GPT‑6 Astra в Codex изучить структуру кодовой базы и объяснить, как агент формирует каждый запрос к модели. GPT‑6 Astra обнаружила, что агент кэширует постоянные инструкции и определения инструментов, но не растущую историю собранных текстов страниц и скриншотов. Поэтому с каждым запросом эта история отправлялась заново по полной цене.
Кроме того, почти на каждом шаге агент удалял старые скриншоты и сокращал текст. Каждая правка меняла историю, поэтому одного её кэширования было бы недостаточно. А потеря сведений могла заставить агента повторно посещать уже прочитанные страницы.
Идальго рассмотрел исправления, предложенные GPT‑6 Astra, и выбрал три для тестирования:
Распространить кэширование на историю работы агента в браузере
Увеличить объём сохраняемого текста
Удалять скриншоты группами, а не на каждом шаге
GPT‑6 Astra начала с быстрых тестов, чтобы определить значимые переменные. Код не был рассчитан на контролируемые эксперименты, поэтому затем модель переработала его так, чтобы единые фронтенд и бэкенд поддерживали множество параллельных процессов, каждый со своими настройками.
Astra провела полное исследование: лимиты истории в 120 000 и 480 000 символов и шесть стратегий кэширования и хранения скриншотов. Каждая комбинация проверялась трижды на каждой из четырёх моделей (см. таблицу ниже). Лучшей оказалась стратегия, при которой скриншоты накапливались до 20, после чего оставался только последний. Так ранняя история дольше оставалась неизменной между удалениями. В сочетании с увеличенным лимитом истории эта стратегия легла в основу оптимизированного процесса. Каждая конфигурация выполняла одну и ту же задачу: собирала шесть полей для каждой из 32 книг в общедоступном демонстрационном каталоге — типичный пример задач, которые некоторые клиенты Asana выполняют в StackAI.
Модель | Описание | Цена |
|---|---|---|
Модель A | Более компактная и дешёвая модель другой передовой лаборатории, выпущенная осенью 2025 года | Вдвое дешевле GPT‑6.1 Sol |
Модель B | Модель, изначально использовавшаяся в рабочей среде, от той же лаборатории, что и модель A. Выпущена летом 2026 года | Та же цена, что у GPT‑6.1 Sol |
Модель C | Обновлённая версия модели B, выпущенная осенью 2026 года | Та же цена, что у GPT‑6.1 Sol |
GPT‑6.1 Sol | Модель OpenAI |
GPT‑6 Astra запускала процессы и анализировала запросы, записи об использовании и результаты, а в отдельных сеансах модель проверяла проделанную работу. Запросы, трассировки данных и результаты каждого сеанса сохранялись в Command(открывается в новом окне), платформе Asana для выпуска ПО, чтобы команда могла впоследствии изучить всё исследование. На основе выводов в Command создавались задачи, затем — пул-реквесты, после чего изменения внедрялись в рабочую среду.
«Вручную на это у меня ушло бы от одного до двух месяцев. С GPT-6 Astra в Codex всё заняло около недели: перед сном я задавал цель через /goal, а утром просматривал результаты».
Для модели B оптимизация снизила расчётные затраты на модель с как минимум 36,21 доллара до 1,24 доллара за запуск — в 29 раз. При исходных настройках некоторые запуски достигали лимита шагов до завершения задачи. Оптимизированный процесс на GPT‑6.1 Sol оказался ещё в 2,6 раза дешевле — 0,47 доллара. Каждый запуск оптимизированного процесса завершался выполнением задачи и правильным ответом.
Средние значения по 3 запускам. ≥: исходная конфигурация включает запуски, остановленные по лимиту, поэтому её среднее значение — нижняя граница.
Два коэффициента справа показывают сравнение с оптимизированным процессом на модели B. Модель B тестировалась на этапе 1, а модель C и Sol 6.1 — на этапе 2 того же исследования (пунктирная линия).
На самой GPT‑6.1 Sol при увеличенном лимите истории новая стратегия кэширования и хранения скриншотов снизила затраты в 4 раза: с 1,97 до 0,47 доллара за запуск. Каждый вызов стал примерно в 3 раза дешевле, поскольку 89% входных данных поступало из кэша по цене в 5% от стоимости некэшированных данных. Сократилось и время выполнения: с как минимум 22,5 минуты при исходных настройках модели B до примерно четырёх минут в оптимизированном процессе на GPT‑6.1 Sol.
Среднее по 3 запускам; усы показывают стандартное отклонение. ≥: среднее включает запуск, остановленный по лимиту или незавершённый, поэтому истинное значение не меньше указанного.
Столбцы оформлены в синих тонах. Оценивайте эффект кэширования относительно столбца с увеличенным лимитом в 480 тыс.
Маркеры запусков и усы стандартного отклонения приблизительно восстановлены по исходному изображению: исходные значения запусков и стандартные отклонения были недоступны.
Среднее по 3 запускам; усы показывают стандартное отклонение. ≥: среднее включает запуск, остановленный по лимиту или незавершённый, поэтому истинное значение не меньше указанного.
Столбцы оформлены в синих тонах. Оценивайте эффект кэширования относительно столбца с увеличенным лимитом в 480 тыс.
Маркеры запусков и усы стандартного отклонения приблизительно восстановлены по исходному изображению: исходные значения запусков и стандартные отклонения были недоступны.
Исследование также показало, как управление историей влияет на то, выдаст ли агент ответ вообще. Увеличение объёма истории работы в браузере, доступного GPT‑6.1 Sol, повысило число запусков с ответом: с трёх из 18 при меньшем лимите до всех 18 при большем. Каждый ответ был правильным. Идальго видит пользу для бизнеса в том, чтобы предоставлять клиентам более быстрые и функциональные модели, сохраняя приемлемый уровень эксплуатационных затрат.
«Раньше стоимость ограничивала выбор моделей, которые мы могли предложить клиентам для этих задач. Повысив эффективность агента, мы можем дать клиентам более качественную и быструю модель, одновременно снижая наши эксплуатационные затраты».
Asana уже внедрила изменения в браузерную навигацию StackAI и разрабатывает инструменты, которые упростят повторение подобных экспериментов. Со временем команда планирует включить такие тесты в систему оценки платформы, чтобы клиенты и внутренние команды могли сравнивать стоимость, время выполнения и качество ответов при настройке агентов.
«Теперь нас ограничивает не скорость выпуска, а объём человеческого внимания. Мы близки к миру, где каждый инженер — это менеджер продукта, управляющий целой командой агентов».
Теперь Asana использует GPT‑6 Astra в Codex для тестирования функций продукта перед выпуском: Astra перемещается по платформе, пробует разные входные данные и сообщает об ошибках специалистам по контролю качества. Идальго считает это основой нового жизненного цикла разработки ПО, в котором множество облачных сеансов агентов тестируют функции параллельно.
Полное исследование опубликовано в блогах Asana(открывается в новом окне) и StackAI(открывается в новом окне).
