CodeRabbit испорачува 20 пати повеќе софтвер со агенти

За Харџот Гил, коосновач и извршен директор на CodeRabbit⁠(се отвора во нов прозорец), проверката на кодот од агенти и градењето доверба во него стануваат клучната точка каде што тимовите го применуваат своето расудување врз сè поголемиот обем работа генерирана од ВИ. „Првото тесно грло со кое се соочува секоја компанија штом ќе воведе агенти за програмирање е прегледот на кодот“, вели Харџот.

CodeRabbit изгради платформа за управување и контрола со ВИ, наменета за проверка на кодот генериран од ВИ и за градење доверба во него. CodeRabbit го користат над 20.000 организации и повеќе од 150.000 проекти со отворен код. Тој им помага на тимовите да го разберат, прегледаат и заштитат кодот создаден од агенти со ВИ и да одлучат што е подготвено за испорака.

Според CodeRabbit, подобриот сооднос меѓу цената и перформансите на OpenAI му овозможува да вклучи повеќе агенти со ВИ во прегледите и да им ги пренесе придобивките на клиентите, а Codex⁠ му помага да испорачува 20 пати повеќе софтвер со истиот инженерски тим. Компанијата го користи и Daybreak⁠ за да ги заштити и сопствената технолошка инфраструктура и кодот на своите клиенти. Нејзиниот најнов производ, CodeRabbit Secure, го користи Daybreak со модели на Codex за да открива и отстранува ранливости преку своите агенти специјализирани за безбедност.

CodeRabbit го изгради својот прв производ со GPT‑3.5 Turbo. Харџот вели дека со појавата на GPT‑4 производот станал ефикасен во прегледувањето код. Потоа компанијата беше меѓу првите што ги воведоа OpenAI o1 и OpenAI o3. Бидејќи прегледите на кодот се извршуваат асинхроно во облак, CodeRabbit можеше да користи модели на кои им треба повеќе време да расудуваат за некој проблем, но кои за возврат нудат поквалитетна анализа.

Тимот ги оценува новите модели со сопствен референтен тест составен од познати проблеми. Во моментот на интервјуто, Харџот процени дека GPT‑6 Astra⁠ открива 50 % од проблемите во таа податочна збирка, што го става на прво место во споредба со другите модели на тој референтен тест.

Референтниот тест продолжува да се менува како што агентите прават различни видови грешки, а поправките откриваат проблеми што претходните прегледи ги пропуштиле. „Природата на грешките постојано се менува, а со подобрувањето на моделите се менува и нашиот референтен тест“, вели Харџот.

Подобриот сооднос меѓу цената и перформансите на моделите на OpenAI му помогна на CodeRabbit да ги пренесе можностите од истражувањата во својот производ. Харџот ги посочува поповолните цени на моделите и подобрувањата во кеширањето, кои ѝ овозможуваат на компанијата да користи повеќе ВИ, да додава повеќе подагенти и да им ги пренесува придобивките на клиентите.

На почетокот, CodeRabbit користеше еден или два подагенти за навигација низ кодот. Поевтините модели, како GPT‑6 Luna, сега овозможуваат работа на повеќе подагенти низ целата платформа, додека моделите како GPT‑6 Astra се задолжени за планирањето и координацијата.

„Сега користиме агенти насекаде, за примени што порано не можевме ни да си ги дозволиме“, вели Харџот. Тоа го проширува опсегот на проверки што CodeRabbit може да ги изврши и на објаснувања што може да им ги даде на програмерите, помагајќи им да ги разберат измените што не ги напишале самите и да имаат доверба во нив.

Харџот вели дека благодарение на Codex, компанијата во последните 6 месеци испорачува околу 20 пати повеќе софтвер без да го зголеми бројот на инженери. Тој проценува дека лично поднел од 2.500 до 3.000 pull request во 30-те дена пред интервјуто.

За да се постигне тоа, не беше доволно само да се воведе Codex. Извршувањето повеќе агенти откри ограничувања низ целиот развоен процес: од меморијата и пресметковната моќ на лаптопите, до тестирањето, алатките за компајлирање и пакување софтвер и софтверските зависности.

Тимот го поедностави процесот на објавување и преиспита во кои фази е потребно човечко одобрување, а со CodeRabbit автоматски испорачуваше измени со низок ризик за кои не беше потребна човечка интервенција. „Моравме целосно да го преосмислиме целиот процес на испорака на софтвер“, вели Харџот.

Компанијата изгради и бот за Slack што користи Codex за да ги класифицира и да им одредува приоритет на инцидентите во продукциската средина, пораките на Slack и барањата за поддршка. Ботот може да подготви pull request што тимот ќе го прегледа и ќе го спои со кодот. Харџот го гледа развојот во облак како начин да се намалат ограничувањата на локалните компјутери и да им се овозможи на тимовите поголема контрола врз пристапот и ревизијата.

CodeRabbit го користи Codex и надвор од софтверското инженерство, меѓу другото и за управување со маркетиншки и оперативни задачи преку код. „Управуваме со компанијата преку код колку што е можно повеќе“, вели Харџот.

Во маркетингот, компанијата управува со Google Ads преку pull request. За да објави реклами, тимот отвора барање и ги спојува предложените измени со кодот. Користи и репозиториум за создавање содржини, каде што Codex изработува презентации и документи наменети за клиентите. „Ако можете да ги претворите маркетиншките проблеми во програмерски проблеми, ќе работите 10 пати побрзо“, вели Харџот.

Од 2023 година, CodeRabbit извршува агенти во изолирани средини, клонира репозиториуми и им дозволува на агентите да пишуваат код за да помогнат при прегледите. Во поново време, CodeRabbit го користеше моделот Cyber на OpenAI преку Daybreak за да ја тестира и заштити сопствената платформа.

Тимот го користеше моделот за внатрешно пенетрациско тестирање, испитувајќи ја сопствената платформа за да открие начини на кои напаѓач би можел да упадне во неа. Харџот вели дека раниот пристап му помогнал на CodeRabbit да ја заштити сопствената технолошка инфраструктура. „Откривме повеќе ранливости, софистицирани начини за пробивање на заштитата што не можевме ни да замислиме дека се можни“, вели Харџот.

Оттогаш компанијата ги понуди овие можности и на пазарот, помагајќи во заштитата на кодот на своите клиенти со најновиот производ, CodeRabbit Secure. Во изминатите две недели, компанијата им понуди на корисниците бесплатни длабински скенирања во вредност од 1 милион долари во рамките на промотивна понуда. Преку 13.000 длабински скенирања, сите со модели на Codex, откри над 43.000 безбедносни ранливости. Клиентите веќе отстранија илјадници од овие ранливости, со што ја подобрија безбедноста на својот код.

Како што агентите што работат во заднина почнуваат да реагираат на предупредувања и инциденти без човек да ја иницира секоја задача, Харџот очекува дека на тимовите ќе им треба поголема помош при одлучувањето кои измени да ги доведат до крај.

Гледајќи кон иднината, CodeRabbit се проширува кон развој на софтвер со агенти, помагајќи им на тимовите во голем обем да ги потврдуваат, да им одредуваат приоритет, да ги објаснуваат, да ги заштитуваат и да ги проверуваат измените во кодот генерирани од агенти.

Можноста е да им се помогне на програмерите да ја задржат контролата додека агентите преземаат сè поголем дел од развојот, со проверки, објаснувања и одржување што го следат темпото со кое се создава кодот.