CodeRabbit amplia el desenvolupament amb agents i crea 20x més

Per a Harjot Gill, cofundador i director executiu de CodeRabbit⁠(s'obre en una finestra nova), validar el codi generat per agents i determinar si és fiable s’està convertint en el punt on els equips apliquen el seu criteri davant d’un volum creixent de feina generada per IA. "El primer coll d’ampolla amb què es troba qualsevol empresa quan adopta agents de programació són les revisions de codi", diu Harjot.

CodeRabbit va crear una plataforma de governança i control basada en IA, dissenyada per validar el codi generat per IA i poder-hi confiar. Més de 20.000 organitzacions i més de 150.000 projectes de codi obert fan servir CodeRabbit, que ajuda els equips a entendre, revisar i protegir el codi produït per agents d’IA i a decidir què està a punt per publicar-se.

Segons CodeRabbit, la millora de la relació preu-rendiment d’OpenAI li permet incorporar més agents d’IA a les seves revisions i traslladar els beneficis als clients, i Codex⁠ l’ajuda a lliurar 20 vegades més programari amb el mateix equip d’enginyeria. L’empresa també fa servir Daybreak⁠ per protegir tant la seva pròpia infraestructura tecnològica com el codi dels seus clients. El seu producte més recent, CodeRabbit Secure, fa servir Daybreak amb models Codex per detectar i corregir vulnerabilitats mitjançant els seus agents especialitzats en seguretat.

CodeRabbit va crear el seu primer producte amb GPT‑3.5 Turbo. Harjot explica que l’arribada de GPT‑4 va fer que el producte fos eficaç a l’hora de revisar codi. Més endavant, l’empresa va ser de les primeres a adoptar OpenAI o1 i OpenAI o3. Com que les revisions de codi s’executen de manera asíncrona al núvol, CodeRabbit podia fer servir models que dediquessin més temps a raonar sobre un problema a canvi d’una anàlisi més potent.

L’equip avalua els nous models amb la seva pròpia prova de referència basada en problemes coneguts. En el moment de l’entrevista, Harjot estimava que GPT‑6 Astra⁠ detectava el 50% dels problemes d’aquell conjunt de dades, cosa que el situava al capdavant dels models en aquella prova de referència.

La prova de referència continua evolucionant a mesura que els agents introdueixen nous tipus d’errors i que les correccions revelen problemes que havien passat desapercebuts en revisions anteriors. "La naturalesa dels errors evoluciona constantment, i també ho fa la nostra prova de referència a mesura que els models milloren", diu Harjot.

La millora de la relació preu-rendiment dels models d’OpenAI ha ajudat CodeRabbit a incorporar al seu producte capacitats desenvolupades en la recerca. Harjot destaca les millores en els preus dels models i en l’ús de la memòria cau, que permeten a l’empresa fer servir més IA, afegir més subagents i traslladar els beneficis als clients.

Als inicis, CodeRabbit feia servir un o dos subagents per navegar pel codi. Ara, models més econòmics com GPT‑6 Luna permeten utilitzar més subagents a tota la plataforma, mentre que models com GPT‑6 Astra s’encarreguen de la planificació i l’orquestració.

"Ara fem servir agents pertot arreu, en casos d’ús que abans ni tan sols ens podíem permetre", diu Harjot. Això amplia les validacions que CodeRabbit pot fer i les explicacions que pot donar als desenvolupadors, i els ajuda a entendre els canvis que no han escrit ells mateixos i a confiar-hi.

Segons Harjot, gràcies a Codex, l’empresa ha lliurat aproximadament 20 vegades més programari durant els últims 6 mesos sense ampliar l’equip d’enginyeria. Ell mateix calcula que va enviar entre 2.500 i 3.000 pull requests durant els 30 dies anteriors a l’entrevista.

Per arribar-hi, no n’hi va haver prou amb adoptar Codex. Executar diversos agents va posar al descobert limitacions al llarg de tot el procés de desenvolupament: des de la memòria i la capacitat de càlcul dels portàtils fins a les proves, les eines de compilació i empaquetatge del programari i les dependències.

L’equip va agilitzar el procés de publicació i es va replantejar en quins punts calia l’aprovació humana, alhora que feia servir CodeRabbit per publicar automàticament canvis de baix risc que no requerien intervenció humana. "Vam haver de replantejar completament tot el procés de lliurament de programari", diu Harjot.

L’empresa també ha creat un bot de Slack basat en Codex que classifica i prioritza incidents de producció, missatges de Slack i tiquets de suport. Pot generar una pull request perquè l’equip la revisi i la fusioni. Harjot veu el desenvolupament al núvol com una manera de reduir les limitacions dels equips locals i donar als equips de treball més control sobre l’accés i les auditories.

CodeRabbit fa servir Codex per a tasques que van més enllà de l’enginyeria, com ara gestionar tasques de màrqueting i operacions mitjançant codi. "Gestionem l’empresa mitjançant codi tant com podem", diu Harjot.

En l’àmbit del màrqueting, l’empresa gestiona Google Ads mitjançant pull requests. L’equip obre i fusiona una sol·licitud per publicar anuncis. També fa servir un repositori de creació de continguts on Codex crea presentacions de diapositives i documents per als clients. "Si pots convertir els problemes de màrqueting en problemes de codi, avançaràs 10 vegades més de pressa", diu Harjot.

Des del 2023, CodeRabbit executa agents en entorns aïllats, clona repositoris i deixa que els agents escriguin codi per ajudar a fer revisions. Més recentment, CodeRabbit ha fet servir el model Cyber d’OpenAI a través de Daybreak per posar a prova i protegir la seva pròpia plataforma.

L’equip va fer servir el model per fer proves de penetració internes i explorar possibles vies d’entrada d’un atacant a la seva plataforma. Harjot explica que l’accés anticipat va ajudar CodeRabbit a protegir la seva pròpia infraestructura tecnològica. "Vam trobar múltiples vulnerabilitats, formes d’atac avançades que ni tan sols ens imaginàvem que fossin possibles", diu Harjot.

Des d’aleshores, ha portat aquestes capacitats al mercat i ajuda a protegir el codi dels seus clients amb el seu producte més recent, CodeRabbit Secure. Durant les últimes dues setmanes, l’empresa ha ofert als seus usuaris anàlisis en profunditat gratuïtes per valor d’un milió de dòlars en el marc d’una promoció. En 13.000 anàlisis, totes fetes amb models Codex, ha detectat més de 43.000 vulnerabilitats de seguretat. Els seus clients ja han corregit milers d’aquestes vulnerabilitats, cosa que ha ajudat a millorar la seguretat del seu codi.

A mesura que els agents en segon pla comencin a respondre a alertes i incidents sense que una persona hagi d’iniciar cada tasca, Harjot preveu que els equips necessitaran més ajuda per decidir quins canvis cal dur a terme fins al final.

De cara al futur, CodeRabbit s’està expandint cap al desenvolupament de programari amb agents, ajudant els equips a validar, prioritzar, explicar, protegir i verificar a gran escala els canvis de codi generats per agents.

L’oportunitat és ajudar els desenvolupadors a mantenir el control mentre els agents assumeixen més tasques de desenvolupament, amb una validació, unes explicacions i un manteniment que segueixin el ritme de producció del codi.