CodeRabbit dezvoltă cu agenți și livrează de 20 de ori mai mult

Pentru Harjot Gill, cofondator și director general al CodeRabbit⁠(se deschide într-o fereastră nouă), validarea codului generat de agenți și stabilirea încrederii în acesta devin etapa în care echipele își exercită discernământul asupra unui volum tot mai mare de muncă realizată de AI. „Primul blocaj cu care se confruntă orice companie imediat ce adoptă agenți de programare este revizuirea codului”, spune Harjot.

CodeRabbit a creat o platformă de guvernanță și control bazată pe AI, concepută pentru validarea codului generat de AI și asigurarea încrederii în acesta. Folosit de peste 20.000 de organizații și în peste 150.000 de proiecte open-source, CodeRabbit ajută echipele să înțeleagă, să revizuiască și să securizeze codul produs de agenții AI și să decidă ce este gata de livrare.

Potrivit CodeRabbit, raportul preț-performanță îmbunătățit oferit de OpenAI îi permite să folosească mai mulți agenți AI la revizuiri și să transfere avantajele către clienți, iar Codex⁠ o ajută să livreze de 20 de ori mai mult software cu aceeași echipă de dezvoltare. Compania folosește și Daybreak⁠ pentru a securiza atât propria infrastructură tehnologică, cât și codul clienților. Cel mai nou produs al său, CodeRabbit Secure, folosește Daybreak împreună cu modelele Codex pentru a identifica și remedia vulnerabilități prin agenți specializați în securitate.

CodeRabbit și-a creat primul produs cu GPT‑3.5 Turbo. Harjot spune că apariția GPT‑4 a făcut ca produsul să devină eficient în revizuirea codului. Ulterior, compania a adoptat încă de la început OpenAI o1 și OpenAI o3. Deoarece revizuirile codului se desfășoară asincron în cloud, CodeRabbit a putut folosi modele care alocau mai mult timp raţionamentului asupra unei probleme, în schimbul unei analize mai performante.

Echipa evaluează modelele noi folosind propriul set de teste de referință cu probleme cunoscute. La momentul interviului, Harjot estima că GPT‑6 Astra⁠ detecta 50% dintre problemele din acel set de date, clasându-se astfel pe primul loc între modelele evaluate prin acele teste.

Setul de teste continuă să evolueze pe măsură ce agenții introduc tipuri diferite de greșeli, iar remedierile scot la iveală probleme care au scăpat revizuirilor anterioare. „Natura erorilor evoluează continuu, la fel și setul nostru de teste, pe măsură ce modelele devin mai bune”, spune Harjot.

Raportul preț-performanță îmbunătățit al modelelor OpenAI a ajutat CodeRabbit să integreze în produs capacități dezvoltate în etapa de cercetare. Harjot evidențiază îmbunătățirile privind prețurile modelelor și utilizarea memoriei cache, care permit companiei să folosească mai mult AI, să adauge mai mulți subagenți și să transfere avantajele către clienți.

La început, CodeRabbit folosea unul sau doi subagenți pentru navigarea prin cod. Modelele cu costuri mai mici, precum GPT‑6 Luna, permit acum utilizarea mai multor subagenți în întreaga platformă, în timp ce modele precum GPT‑6 Astra se ocupă de planificare și orchestrare.

„Acum folosim agenți peste tot, în situații în care înainte nici nu ne permiteam”, spune Harjot. Astfel, CodeRabbit poate face validări mai ample și poate oferi dezvoltatorilor explicații mai detaliate, ajutându-i să înțeleagă și să aibă încredere în modificări pe care nu le-au scris ei înșiși.

Harjot spune că, folosind Codex, compania a livrat de aproximativ 20 de ori mai mult software în ultimele 6 luni, fără să angajeze dezvoltatori suplimentari. El estimează că a trimis personal între 2.500 și 3.000 de pull request-uri în cele 30 de zile dinaintea interviului.

Pentru a ajunge aici, a fost nevoie de mai mult decât adoptarea Codex. Rularea mai multor agenți a scos la iveală limitări în întregul proces de dezvoltare, de la memoria și puterea de calcul ale laptopurilor până la testare, instrumentele de compilare și împachetare a software-ului și dependențe.

Echipa și-a eficientizat procesul de lansare și a reevaluat etapele în care era necesară aprobarea umană, folosind totodată CodeRabbit pentru a livra automat modificările cu risc scăzut care nu necesitau intervenție umană. „A trebuit, de fapt, să regândim complet întregul proces de livrare a software-ului”, spune Harjot.

Compania a creat și un bot pentru Slack bazat pe Codex, care triază incidentele din mediul de producție, mesajele de pe Slack și tichetele de asistență. Acesta poate genera un pull request pe care echipa să îl revizuiască și să îl integreze. Harjot consideră că dezvoltarea în cloud poate reduce limitările calculatoarelor locale și le poate oferi echipelor un control mai bun asupra accesului și auditării.

CodeRabbit folosește Codex și în afara dezvoltării software, inclusiv pentru gestionarea sarcinilor de marketing și operaționale prin cod. „Gestionăm compania prin cod cât mai mult posibil”, spune Harjot.

În marketing, compania gestionează Google Ads prin pull request-uri. Echipa deschide și integrează un pull request pentru a publica reclame. De asemenea, folosește un depozit dedicat producției de conținut, în care Codex creează prezentări și documente pentru clienți. „Dacă poți transforma problemele de marketing în probleme de programare, vei lucra de 10 ori mai repede”, spune Harjot.

Din 2023, CodeRabbit rulează agenți în medii izolate, clonând depozite și permițând agenților să scrie cod pentru a facilita revizuirile. Mai recent, CodeRabbit a folosit modelul Cyber de la OpenAI prin Daybreak pentru a-și testa și securiza propria platformă.

Echipa a folosit modelul pentru teste interne de penetrare, căutând modalități prin care un atacator ar putea pătrunde în propria platformă. Harjot spune că accesul anticipat a ajutat CodeRabbit să își securizeze propria infrastructură tehnologică. „Am găsit mai multe vulnerabilități, metode sofisticate de atac pe care nici nu ni le puteam imagina”, spune Harjot.

De atunci, compania a pus aceste capacități la dispoziția pieței, contribuind la securizarea codului clienților prin cel mai nou produs al său, CodeRabbit Secure. În ultimele două săptămâni, compania a derulat o ofertă promoțională prin care a acoperit costul unor scanări aprofundate în valoare de 1 milion de dolari, oferite gratuit utilizatorilor. Cele 13.000 de scanări, toate bazate pe modele Codex, au identificat peste 43.000 de vulnerabilități de securitate. Clienții au remediat deja mii dintre aceste vulnerabilități, îmbunătățind astfel securitatea codului lor.

Pe măsură ce agenții care rulează în fundal încep să răspundă la alerte și incidente fără ca o persoană să inițieze fiecare sarcină, Harjot se așteaptă ca echipele să aibă nevoie de mai mult ajutor pentru a decide ce modificări să ducă la bun sfârșit.

Pentru viitor, CodeRabbit își extinde activitatea spre dezvoltarea software cu agenți, ajutând echipele să valideze, să prioritizeze, să explice, să securizeze și să verifice la scară largă modificările de cod generate de agenți.

Oportunitatea constă în a-i ajuta pe dezvoltatori să păstreze controlul pe măsură ce agenții preiau o parte tot mai mare din dezvoltare, prin validare, explicații și mentenanță care țin pasul cu volumul de cod produs.