CodeRabbit выпускает в 20 раз больше ПО с помощью агентов

По мнению Харджота Гилла, сооснователя и генерального директора CodeRabbit⁠(открывается в новом окне), проверка кода, созданного агентами, и оценка его надёжности становятся той областью, где команды применяют своё профессиональное суждение к растущему объёму результатов работы ИИ. «Первое узкое место, с которым сталкивается любая компания после внедрения агентов для программирования, — это проверка кода», — говорит Харджот.

CodeRabbit создала платформу управления и контроля на базе ИИ, которая позволяет проверять сгенерированный ИИ код и убеждаться в его надёжности. CodeRabbit используют более 20 000 организаций и свыше 150 000 проектов с открытым исходным кодом. Платформа помогает командам разбираться в коде, созданном ИИ-агентами, проверять его, обеспечивать безопасность и решать, что готово к выпуску.

По данным CodeRabbit, улучшение соотношения цены и производительности моделей OpenAI позволяет привлекать больше ИИ-агентов к проверкам кода и делиться этими преимуществами с клиентами, а Codex⁠ помогает выпускать в 20 раз больше ПО, не расширяя команду разработчиков. Компания также использует Daybreak⁠ для защиты как собственного технологического стека, так и кода клиентов. Её новейший продукт CodeRabbit Secure использует Daybreak с моделями Codex для поиска и устранения уязвимостей с помощью агентов, специализирующихся на безопасности.

CodeRabbit создала свой первый продукт на базе GPT‑3.5 Turbo. По словам Харджота, с появлением GPT‑4 продукт стал эффективно справляться с проверкой кода. Затем компания в числе первых внедрила OpenAI o1 и OpenAI o3. Поскольку проверки кода выполняются асинхронно в облаке, CodeRabbit могла использовать модели, которые тратят больше времени на рассуждения над задачей, но обеспечивают более качественный анализ.

Команда оценивает новые модели с помощью собственного теста, основанного на наборе известных проблем. На момент интервью, по оценке Харджота, GPT‑6 Astra⁠ обнаруживала 50% проблем в этом наборе данных — лучший результат среди моделей, участвовавших в тесте.

Тест постоянно обновляется: агенты допускают новые виды ошибок, а исправления выявляют проблемы, пропущенные при предыдущих проверках. «Характер ошибок постоянно меняется, и по мере улучшения моделей меняется и наш тест», — говорит Харджот.

Улучшение соотношения цены и производительности моделей OpenAI помогло CodeRabbit перенести экспериментальные возможности в свой продукт. Харджот отмечает, что снижение стоимости моделей и улучшение кэширования позволяют компании шире использовать ИИ, добавлять больше субагентов и делиться этими преимуществами с клиентами.

В начале работы CodeRabbit использовала одного-двух субагентов для навигации по коду. Теперь менее дорогие модели, такие как GPT‑6 Luna, обеспечивают работу большего числа субагентов по всей платформе, а модели вроде GPT‑6 Astra отвечают за планирование и оркестрацию.

«Теперь мы повсюду используем агентов для задач, которые раньше были нам просто не по карману», — говорит Харджот. Благодаря этому CodeRabbit может проводить более всесторонние проверки и давать разработчикам более подробные объяснения, помогая им понимать изменения, которые они не писали сами, и доверять им.

По словам Харджота, благодаря Codex за последние шесть месяцев компания стала выпускать примерно в 20 раз больше ПО, не увеличивая штат разработчиков. По его собственной оценке, за 30 дней до интервью он отправил от 2500 до 3000 pull request.

Чтобы достичь такого результата, одного внедрения Codex было недостаточно. Одновременный запуск нескольких агентов выявил ограничения на всех этапах разработки: от памяти и вычислительных ресурсов ноутбуков до тестирования, инструментов компиляции и упаковки ПО и зависимостей.

Команда оптимизировала процесс выпуска ПО и пересмотрела, на каких этапах нужно одобрение человека. При этом CodeRabbit использовалась для автоматического выпуска изменений с низким риском, не требующих вмешательства людей. «Нам пришлось полностью переосмыслить весь процесс доставки ПО», — говорит Харджот.

Компания также создала бота для Slack на базе Codex, который анализирует инциденты в рабочей среде, сообщения в Slack и обращения в поддержку, определяя их приоритет. Бот может подготовить pull request, чтобы команда проверила и внесла изменения. Харджот считает, что облачная разработка помогает преодолеть ограничения локальных компьютеров и даёт командам более широкие возможности для контроля доступа и аудита.

CodeRabbit использует Codex не только для разработки, но и для решения маркетинговых и операционных задач с помощью кода. «Мы стараемся управлять компанией через код везде, где это возможно», — говорит Харджот.

В маркетинге компания управляет Google Ads через pull request. Чтобы запустить рекламу, команда создаёт запрос и вносит предложенные в нём изменения. Она также использует репозиторий контент-студии, где Codex создаёт презентации и документы для клиентов. «Если перевести маркетинговые задачи в задачи программирования, можно работать в 10 раз быстрее», — говорит Харджот.

С 2023 года CodeRabbit запускает агентов в изолированных средах: клонирует репозитории и позволяет агентам писать код, помогающий проводить проверки. Недавно CodeRabbit использовала модель Cyber от OpenAI через Daybreak для тестирования и защиты собственной платформы.

Команда применила модель для внутреннего тестирования на проникновение, проверяя, какими способами злоумышленник мог бы взломать её платформу. По словам Харджота, ранний доступ помог CodeRabbit защитить собственный технологический стек. «Мы обнаружили множество уязвимостей и сложных способов взлома, о возможности которых даже не подозревали», — говорит Харджот.

С тех пор компания вывела эти возможности на рынок: её новый продукт CodeRabbit Secure помогает защищать код клиентов. За последние две недели компания провела акцию, оплатив для пользователей углублённые проверки на общую сумму 1 млн долларов. В ходе 13 000 таких проверок на базе моделей Codex было обнаружено более 43 000 уязвимостей безопасности. Клиенты уже устранили тысячи этих уязвимостей, повысив безопасность своего кода.

Фоновые агенты начинают реагировать на оповещения и инциденты, не дожидаясь, пока человек запустит каждую задачу. Харджот ожидает, что командам понадобится больше помощи в выборе изменений, которые стоит довести до внедрения.

CodeRabbit развивает направление разработки ПО с помощью агентов: помогает командам в больших масштабах оценивать, приоритизировать и объяснять предложенные агентами изменения кода, обеспечивать их безопасность и проверять корректность.

По мере того как агенты берут на себя всё больше работы по созданию ПО, открывается возможность помочь разработчикам сохранить контроль — благодаря проверкам, объяснениям и сопровождению, которые не отстают от темпов генерации кода.