CodeRabbit schaalt op met agents en levert 20x meer software

Volgens Harjot Gill, medeoprichter en CEO van CodeRabbit⁠(opent in een nieuw venster), komt het oordeel van teams over de groeiende hoeveelheid AI-gegenereerd werk steeds meer tot uiting in het valideren van code van agents en het beoordelen van de betrouwbaarheid ervan. "Het eerste knelpunt waar elk bedrijf tegenaan loopt zodra het programmeeragents gaat gebruiken, zijn codereviews", zegt Harjot.

CodeRabbit bouwde een AI-gestuurd platform voor beheer en controle, bedoeld om AI-gegenereerde code te valideren en erop te kunnen vertrouwen. Meer dan 20.000 organisaties en ruim 150.000 opensourceprojecten gebruiken CodeRabbit. Het helpt teams code van AI-agents te begrijpen, te beoordelen en te beveiligen, en te bepalen wat klaar is om op te leveren.

Volgens CodeRabbit maakt de betere prijs-prestatieverhouding van OpenAI het mogelijk om meer AI-agents in te zetten voor reviews en de voordelen door te geven aan klanten. Dankzij Codex⁠ levert het met hetzelfde ontwikkelteam 20 keer zoveel software op. Het bedrijf gebruikt ook Daybreak⁠ om zowel de eigen stack als de code van klanten te beveiligen. Het nieuwste product, CodeRabbit Secure, gebruikt Daybreak met Codex-modellen om via beveiligingsgerichte agents kwetsbaarheden te vinden en te verhelpen.

CodeRabbit bouwde het eerste product met GPT‑3.5 Turbo. Volgens Harjot werd het product met de komst van GPT‑4 effectief in het beoordelen van code. Daarna was het bedrijf er vroeg bij met de inzet van OpenAI o1 en OpenAI o3. Omdat codereviews asynchroon in de cloud worden uitgevoerd, kon CodeRabbit modellen gebruiken die langer over een probleem redeneerden, maar daardoor betere analyses leverden.

Het team toetst nieuwe modellen aan een eigen benchmark met bekende problemen. Ten tijde van het interview schatte Harjot dat GPT‑6 Astra⁠ 50% van de problemen in die dataset opspoorde en daarmee het beste scoorde van alle modellen in die benchmark.

De benchmark blijft zich ontwikkelen doordat agents nieuwe soorten fouten introduceren en oplossingen problemen aan het licht brengen die bij eerdere reviews over het hoofd zijn gezien. "De aard van bugs blijft veranderen, en onze benchmark verandert mee naarmate de modellen beter worden", zegt Harjot.

Dankzij de betere prijs-prestatieverhouding van OpenAI-modellen kon CodeRabbit mogelijkheden uit de onderzoeksfase in het product opnemen. Harjot wijst op gunstigere modelprijzen en verbeteringen in caching, waardoor het bedrijf meer AI kan gebruiken, meer subagents kan toevoegen en de voordelen kan doorgeven aan klanten.

In het begin gebruikte CodeRabbit één of twee subagents om door code te navigeren. Goedkopere modellen zoals GPT‑6 Luna maken nu de inzet van meer subagents op het hele platform mogelijk, terwijl modellen zoals GPT‑6 Astra de planning en orkestratie verzorgen.

"Nu zetten we overal agents in voor toepassingen die we ons vroeger niet eens konden veroorloven", zegt Harjot. Daardoor kan CodeRabbit meer valideren en ontwikkelaars meer uitleg geven, zodat zij wijzigingen die ze niet zelf hebben geschreven beter begrijpen en vertrouwen.

Volgens Harjot heeft het bedrijf dankzij Codex de afgelopen 6 maanden ongeveer 20 keer zoveel software opgeleverd, zonder extra ontwikkelaars aan te nemen. Hij schat dat hij zelf in de 30 dagen vóór het interview 2.500 tot 3.000 pull requests heeft ingediend.

Daarvoor was meer nodig dan alleen Codex in gebruik nemen. Het werken met meerdere agents legde beperkingen in het hele ontwikkelproces bloot: van het geheugen en de rekenkracht van laptops tot tests, tools voor het compileren en verpakken van software, en afhankelijkheden.

Het team stroomlijnde het releaseproces en bekeek opnieuw waar menselijke goedkeuring nodig was. Tegelijkertijd gebruikte het CodeRabbit om wijzigingen met een laag risico die geen menselijke tussenkomst vereisten automatisch uit te rollen. "We moesten echt het hele proces voor het opleveren van software opnieuw uitdenken", zegt Harjot.

Het bedrijf heeft ook een Slack-bot op basis van Codex gebouwd die productie-incidenten, Slack-berichten en supporttickets beoordeelt en prioriteert. De bot kan een pull request aanleveren die het team kan beoordelen en mergen. Harjot ziet ontwikkelen in de cloud als een manier om de beperkingen van lokale computers te verminderen en teams meer controle te geven over toegang en audits.

CodeRabbit gebruikt Codex ook buiten softwareontwikkeling, onder meer om marketing- en operationele taken via code te beheren. "We sturen het bedrijf zo veel mogelijk aan via code", zegt Harjot.

Voor marketing beheert het bedrijf Google Ads via pull requests. Het team opent en merget een pull request om advertenties te plaatsen. Het gebruikt ook een repository voor contentcreatie, waarin Codex presentaties en documenten voor klanten maakt. "Als je je marketingproblemen kunt vertalen naar codeproblemen, werk je 10 keer zo snel", zegt Harjot.

CodeRabbit laat sinds 2023 agents in sandboxomgevingen werken. Daarbij worden repository's gekloond en schrijven agents code om reviews te ondersteunen. Onlangs gebruikte CodeRabbit het Cyber-model van OpenAI via Daybreak om het eigen platform te testen en te beveiligen.

Het team gebruikte het model voor interne penetratietests en onderzocht hoe een aanvaller het eigen platform zou kunnen binnendringen. Volgens Harjot hielp de vroege toegang CodeRabbit om de eigen stack te beveiligen. "We vonden meerdere kwetsbaarheden, geavanceerde hacks waarvan we ons niet eens konden voorstellen dat ze mogelijk waren", zegt Harjot.

Inmiddels heeft het bedrijf die mogelijkheden op de markt gebracht. Met het nieuwste product, CodeRabbit Secure, helpt het de code van klanten te beveiligen. De afgelopen twee weken bood het bedrijf gebruikers bij wijze van promotie voor 1 miljoen dollar aan gratis diepgaande scans aan. In 13.000 scans, allemaal uitgevoerd met Codex-modellen, werden meer dan 43.000 beveiligingskwetsbaarheden gevonden. Klanten hebben al duizenden van deze kwetsbaarheden verholpen en daarmee hun code beter beveiligd.

Nu agents op de achtergrond beginnen te reageren op meldingen en incidenten zonder dat iemand elke taak hoeft te starten, verwacht Harjot dat teams meer hulp nodig hebben bij de afweging welke wijzigingen ze volledig willen doorvoeren.

CodeRabbit richt zich steeds meer op softwareontwikkeling met agents. Het helpt teams om codewijzigingen van agents op grote schaal te valideren, te prioriteren, uit te leggen, te beveiligen en te verifiëren.

De kans ligt in het helpen van ontwikkelaars om de controle te behouden terwijl agents steeds meer bouwen, met validatie, uitleg en onderhoud die gelijke tred houden met de geproduceerde code.