CodeRabbit: масштабування розробки з агентами й у 20× більше ПЗ

На думку Гарджота Ґілла, співзасновника й генерального директора CodeRabbit⁠(відкривається у новому вікні), саме перевірка коду від агентів і визначення його надійності стають тією сферою, де команди застосовують власне експертне судження до дедалі більшого обсягу роботи, виконаної ШІ. «Перше вузьке місце, з яким стикається кожна компанія, щойно впроваджує агентів для програмування, — це перевірка коду», — каже Гарджот.

CodeRabbit створила платформу керування й контролю на базі ШІ, покликану перевіряти згенерований ШІ код і забезпечувати довіру до нього. CodeRabbit, якою користуються понад 20 000 організацій і більш ніж 150 000 проєктів із відкритим кодом, допомагає командам розуміти, перевіряти й захищати код, створений ШІ-агентами, та вирішувати, що вже готове до випуску.

За даними CodeRabbit, краще співвідношення ціни та продуктивності моделей OpenAI дає змогу залучати більше ШІ-агентів до перевірок і надавати ці переваги клієнтам, а Codex⁠ допомагає випускати у 20 разів більше ПЗ тією самою командою розробників. Компанія також використовує Daybreak⁠ для захисту як власного технологічного стека, так і коду клієнтів. Її найновіший продукт, CodeRabbit Secure, використовує Daybreak із моделями Codex, щоб знаходити й усувати вразливості за допомогою агентів, спеціалізованих на безпеці.

CodeRabbit створила свій перший продукт на базі GPT‑3.5 Turbo. За словами Гарджота, з появою GPT‑4 продукт почав ефективно перевіряти код. Згодом компанія однією з перших впровадила OpenAI o1 та OpenAI o3. Оскільки перевірки коду виконуються асинхронно в хмарі, CodeRabbit могла використовувати моделі, яким потрібно більше часу на міркування над проблемою, але які натомість забезпечують якісніший аналіз.

Команда оцінює нові моделі за власним набором тестів із відомими проблемами. На момент інтерв’ю, за оцінкою Гарджота, GPT‑6 Astra⁠ виявляла 50% проблем у цьому наборі даних — найкращий результат серед моделей, які пройшли це тестування.

Набір тестів постійно змінюється: агенти припускаються нових типів помилок, а під час виправлень виявляються проблеми, пропущені попередніми перевірками. «Характер помилок постійно змінюється, тож із вдосконаленням моделей змінюється й наш набір тестів», — каже Гарджот.

Краще співвідношення ціни та продуктивності моделей OpenAI допомогло CodeRabbit перенести дослідницькі напрацювання у свій продукт. Гарджот відзначає вигідніші ціни на моделі та вдосконалення кешування, які дають компанії змогу ширше застосовувати ШІ, додавати більше субагентів і надавати ці переваги клієнтам.

На початку роботи CodeRabbit використовувала одного-двох субагентів для навігації кодом. Тепер дешевші моделі, як-от GPT‑6 Luna, забезпечують роботу більшої кількості субагентів на всій платформі, а моделі на кшталт GPT‑6 Astra відповідають за планування й оркестрацію.

«Тепер ми повсюдно використовуємо агентів для завдань, на які раніше навіть не могли собі дозволити витрачатися», — каже Гарджот. Це розширює можливості CodeRabbit з перевірки коду й надання пояснень розробникам, допомагаючи їм розуміти зміни, написані не ними, і довіряти цим змінам.

За словами Гарджота, завдяки Codex протягом останніх 6 місяців компанія випускала приблизно у 20 разів більше ПЗ без збільшення команди розробників. За його власною оцінкою, за 30 днів до інтерв’ю він особисто надіслав від 2500 до 3000 pull request.

Щоб досягти цього, самого впровадження Codex було недостатньо. Одночасна робота кількох агентів виявила обмеження в усьому процесі розробки: від пам’яті й обчислювальної потужності ноутбуків до тестування, інструментів компіляції та пакування ПЗ і залежностей.

Команда оптимізувала процес випуску й переглянула, на яких етапах потрібне схвалення людини. Водночас вона використовувала CodeRabbit для автоматичного випуску змін із низьким ризиком, які не потребували втручання людини. «Нам довелося повністю переосмислити весь процес випуску програмного забезпечення», — каже Гарджот.

Компанія також створила бота для Slack на базі Codex, який сортує за пріоритетністю інциденти в робочому середовищі, повідомлення у Slack і звернення до служби підтримки. Він може підготувати pull request, щоб команда перевірила й об’єднала зміни. Гарджот вбачає у хмарній розробці спосіб зменшити обмеження локальних комп’ютерів і дати командам більше можливостей для контролю доступу й аудиту.

CodeRabbit використовує Codex і поза межами розробки, зокрема для керування маркетинговими й операційними завданнями через код. «Ми максимально переводимо керування компанією в код», — каже Гарджот.

У маркетингу компанія керує Google Ads через pull request. Щоб запустити рекламу, команда створює запит і об’єднує зміни. Вона також використовує репозиторій контент-студії, де Codex створює презентації та документи для клієнтів. «Якщо перетворити маркетингові завдання на завдання з програмування, ви працюватимете вдесятеро швидше», — каже Гарджот.

З 2023 року CodeRabbit запускає агентів в ізольованих середовищах, клонує репозиторії та дозволяє агентам писати код для допомоги в перевірках. Нещодавно CodeRabbit використала модель Cyber від OpenAI через Daybreak, щоб протестувати й захистити власну платформу.

Команда застосувала модель для внутрішнього тестування на проникнення, шукаючи на власній платформі шляхи, якими міг би скористатися зловмисник. За словами Гарджота, ранній доступ допоміг CodeRabbit захистити власний технологічний стек. «Ми виявили численні вразливості та витончені способи злому, можливості яких навіть не уявляли», — каже Гарджот.

Відтоді компанія вивела ці можливості на ринок: її найновіший продукт, CodeRabbit Secure, допомагає захищати код клієнтів. Протягом останніх двох тижнів компанія провела акцію, оплативши користувачам поглиблені сканування на суму 1 млн доларів. Під час 13 000 таких сканувань на базі моделей Codex було виявлено понад 43 000 вразливостей безпеки. Клієнти вже усунули тисячі цих вразливостей, підвищивши безпеку свого коду.

Фонові агенти починають реагувати на сповіщення й інциденти без потреби щоразу отримувати завдання від людини. Тому Гарджот очікує, що командам знадобиться більше допомоги у визначенні змін, які варто довести до впровадження.

Надалі CodeRabbit розширюватиме можливості розробки ПЗ за допомогою агентів, допомагаючи командам у великих масштабах оцінювати зміни коду від агентів, визначати їхню пріоритетність, пояснювати їх, убезпечувати та перевіряти.

Це дає змогу допомогти розробникам зберігати контроль, коли агенти беруть на себе дедалі більше роботи: перевірка, пояснення й супровід мають встигати за темпом створення коду.