CodeRabbit: разработка с агенти и 20 пъти повече софтуер

За Харджот Гил, съосновател и главен изпълнителен директор на CodeRabbit⁠(отваря се в нов прозорец), проверката на кода, създаден от агенти, и изграждането на доверие в него се превръщат в областта, в която екипите прилагат своята преценка към растящия обем работа, извършена от AI. „Първото тясно място, с което всяка компания се сблъсква веднага щом започне да използва агенти за програмиране, е прегледът на кода“, казва Харджот.

CodeRabbit създаде платформа за управление и контрол, базирана на AI, която проверява генерирания от AI код и помага да се изгради доверие в него. Използван от над 20 000 организации и повече от 150 000 проекта с отворен код, CodeRabbit помага на екипите да разбират, преглеждат и защитават кода, създаден от AI агенти, и да решават какво е готово за пускане.

Според CodeRabbit по-доброто съотношение цена–производителност на OpenAI позволява на компанията да включва повече AI агенти в прегледите си и да предоставя тези предимства на клиентите, а Codex⁠ ѝ помага да пуска 20 пъти повече софтуер със същия инженерен екип. Компанията използва и Daybreak⁠, за да защитава както собствената си технологична инфраструктура, така и кода на своите клиенти. Най-новият ѝ продукт, CodeRabbit Secure, използва Daybreak с модели Codex, за да открива и отстранява уязвимости чрез своите агенти, специализирани в сигурността.

CodeRabbit създаде първия си продукт с GPT‑3.5 Turbo. Харджот казва, че с появата на GPT‑4 продуктът е станал ефективен при прегледа на код. След това компанията е сред първите, внедрили OpenAI o1 и OpenAI o3. Тъй като прегледите на кода се извършват асинхронно в облака, CodeRabbit може да използва модели, които отделят повече време за обмисляне на проблема, но в замяна предлагат по-задълбочен анализ.

Екипът оценява новите модели чрез собствен сравнителен тест с известни проблеми. Към момента на интервюто Харджот оценява, че GPT‑6 Astra⁠ открива 50% от проблемите в този набор от данни, което го поставя на първо място спрямо останалите модели в теста.

Тестът продължава да се развива, тъй като агентите допускат различни видове грешки, а поправките разкриват проблеми, пропуснати при предишни прегледи. „Естеството на грешките непрекъснато се променя, а с усъвършенстването на моделите се развива и нашият сравнителен тест“, казва Харджот.

По-доброто съотношение цена–производителност на моделите на OpenAI помага на CodeRabbit да пренесе възможности от изследователската работа в своя продукт. Харджот посочва подобренията в цените на моделите и кеширането, които позволяват на компанията да използва повече AI, да добавя повече подагенти и да предоставя тези предимства на клиентите.

В началото CodeRabbit използва един или два подагента за навигация в кода. По-евтини модели като GPT‑6 Luna вече позволяват използването на повече подагенти в цялата платформа, а модели като GPT‑6 Astra поемат планирането и оркестрацията.

„Сега използваме агенти навсякъде — за задачи, за които преди дори не можехме да си ги позволим“, казва Харджот. Това разширява обхвата на проверките, които CodeRabbit може да извършва, и на обясненията, които може да дава на разработчиците, като им помага да разбират и да се доверяват на промени, които не са написали сами.

Според Харджот благодарение на Codex през последните 6 месеца компанията пуска приблизително 20 пъти повече софтуер, без да увеличава броя на инженерите. По собствена оценка той лично е изпратил между 2500 и 3000 pull request заявки през 30-те дни преди интервюто.

За да постигнат това, не е било достатъчно само да внедрят Codex. Едновременната работа на множество агенти разкрива ограничения в целия процес на разработка — от паметта и изчислителната мощност на лаптопите до тестването, инструментите за компилиране и пакетиране на софтуера и зависимостите.

Екипът оптимизира процеса на пускане на версии и преосмисля на кои етапи е нужно одобрение от човек, като същевременно използва CodeRabbit за автоматично пускане на нискорискови промени, които не изискват човешка намеса. „На практика трябваше изцяло да преосмислим целия процес по доставяне на софтуер“, казва Харджот.

Компанията е създала и бот за Slack, базиран на Codex, който оценява и приоритизира инциденти в продукционна среда, съобщения в Slack и заявки за поддръжка. Той може да подготви pull request, който екипът да прегледа и слее. Харджот вижда в облачната разработка начин да се намалят ограниченията на локалните машини и да се дадат на екипите по-добри възможности за контрол на достъпа и одит.

CodeRabbit използва Codex и извън софтуерната разработка, включително за управление на маркетингови и оперативни задачи чрез код. „Управляваме компанията чрез код, доколкото е възможно“, казва Харджот.

В маркетинга компанията управлява Google Ads чрез pull request заявки. Екипът отваря заявка и слива промените, за да публикува реклами. Използва и хранилище за създаване на съдържание, където Codex подготвя презентации и документи за клиенти. „Ако можете да превърнете маркетинговите си проблеми в задачи за програмиране, ще работите 10 пъти по-бързо“, казва Харджот.

От 2023 г. CodeRabbit използва агенти в изолирани среди, като клонира хранилища и позволява на агентите да пишат код, за да подпомагат прегледите. Наскоро CodeRabbit използва модела Cyber на OpenAI чрез Daybreak, за да тества и защити собствената си платформа.

Екипът използва модела за вътрешни тестове за проникване, като изследва собствената си платформа за възможни начини за пробив. Според Харджот ранният достъп е помогнал на CodeRabbit да защити собствената си технологична инфраструктура. „Открихме множество уязвимости — сложни начини за пробив, които дори не си представяхме, че са възможни“, казва Харджот.

Оттогава компанията предлага тези възможности и на пазара, като помага за защитата на кода на своите клиенти с най-новия си продукт — CodeRabbit Secure. През последните две седмици компанията проведе промоция, в рамките на която осигури на потребителите си безплатни задълбочени сканирания на стойност 1 млн. долара. При 13 000 такива сканирания, всички с модели Codex, бяха открити над 43 000 уязвимости в сигурността. Клиентите вече са отстранили хиляди от тези уязвимости, подобрявайки сигурността на своя код.

Тъй като агентите, работещи във фонов режим, започват да реагират на сигнали и инциденти, без човек да инициира всяка задача, Харджот очаква екипите да се нуждаят от повече помощ при избора кои промени да доведат докрай.

Занапред CodeRabbit разширява дейността си към разработка на софтуер с агенти, като помага на екипите да валидират, приоритизират, обясняват, защитават и проверяват в голям мащаб промените в кода, генерирани от агенти.

Възможността е да се помогне на разработчиците да запазят контрола, докато агентите поемат все повече от разработката — с валидиране, обяснения и поддръжка, които следват темпото на създаване на кода.