CodeRabbit skalar upp med agenter och levererar 20 gånger mer

Harjot Gill, medgrundare och vd för CodeRabbit⁠(öppnas i ett nytt fönster), ser hur teamens omdöme blir allt viktigare när de ska validera och bedöma tillförlitligheten hos en växande mängd kod som AI-agenter har skrivit. ”Den första flaskhalsen som alla företag stöter på när de börjar använda kodningsagenter är kodgranskning”, säger Harjot.

CodeRabbit byggde en AI-driven plattform för styrning och kontroll, utformad för att validera AI-genererad kod och säkerställa att den går att lita på. CodeRabbit används av över 20 000 organisationer och mer än 150 000 projekt med öppen källkod. Plattformen hjälper team att förstå, granska och säkra kod som AI-agenter har skapat och avgöra vad som är redo att levereras.

Enligt CodeRabbit gör OpenAI:s förbättrade förhållande mellan pris och prestanda det möjligt att använda fler AI-agenter i granskningarna och låta fördelarna komma kunderna till del. Dessutom hjälper Codex⁠ företaget att leverera 20 gånger mer mjukvara med samma utvecklarteam. Företaget använder också Daybreak⁠ för att säkra både sin egen teknikstack och kundernas kod. Den senaste produkten, CodeRabbit Secure, använder Daybreak med Codex-modeller för att hitta och åtgärda sårbarheter med hjälp av sina säkerhetsinriktade agenter.

CodeRabbit byggde sin första produkt med GPT‑3.5 Turbo. Harjot säger att lanseringen av GPT‑4 gjorde produkten effektiv på att granska kod. Företaget var sedan tidigt ute med att börja använda OpenAI o1 och OpenAI o3. Eftersom kodgranskningarna körs asynkront i molnet kunde CodeRabbit använda modeller som tog längre tid på sig att resonera sig igenom ett problem, men i gengäld gav bättre analyser.

Teamet utvärderar nya modeller mot sitt eget jämförelsetest med kända problem. Vid intervjutillfället uppskattade Harjot att GPT‑6 Astra⁠ upptäckte 50 % av problemen i den datamängden, vilket gav modellen förstaplatsen i jämförelsetestet.

Jämförelsetestet fortsätter att utvecklas i takt med att agenter gör nya typer av misstag och korrigeringar blottlägger problem som tidigare granskningar missat. ”Buggarna ändrar ständigt karaktär, och vårt jämförelsetest utvecklas också i takt med att modellerna blir bättre”, säger Harjot.

Mer prestanda för pengarna från OpenAI:s modeller har hjälpt CodeRabbit att ta funktioner från forskningsstadiet till den egna produkten. Harjot lyfter fram förbättringar inom modellpriser och cachning som gör att företaget kan använda mer AI, lägga till fler underagenter och låta fördelarna komma kunderna till del.

När CodeRabbit startade använde företaget en eller två underagenter för kodnavigering. Billigare modeller som GPT‑6 Luna gör det nu möjligt att använda fler underagenter i hela plattformen, medan modeller som GPT‑6 Astra hanterar planering och orkestrering.

”Nu använder vi agenter överallt, för sådant vi inte ens hade råd med tidigare”, säger Harjot. Det utökar både den validering som CodeRabbit kan utföra och de förklaringar som utvecklarna kan få, så att de kan förstå och lita på ändringar som de inte själva har skrivit.

Harjot säger att företaget tack vare Codex har levererat ungefär 20 gånger mer mjukvara under de senaste sex månaderna utan att anställa fler utvecklare. Han uppskattar att han själv skickade in 2 500–3 000 pull requests under de 30 dagarna före intervjun.

För att nå dit krävdes mer än att bara börja använda Codex. Att köra flera agenter blottlade begränsningar i hela utvecklingsprocessen: från minne och beräkningskapacitet i bärbara datorer till testning, verktyg för att kompilera och paketera mjukvara samt beroenden.

Teamet effektiviserade sin releaseprocess och omprövade var mänskliga godkännanden behövdes. Samtidigt använde det CodeRabbit för att automatiskt leverera ändringar med låg risk som inte krävde mänsklig inblandning. ”Vi var faktiskt tvungna att tänka om helt kring hela mjukvaruleveransen”, säger Harjot.

Företaget har också byggt en Slack-bot som drivs av Codex och som sorterar och prioriterar driftincidenter, Slack-meddelanden och supportärenden. Den kan ta fram en pull request som teamet kan granska och slå samman. Harjot ser molnbaserad utveckling som ett sätt att minska begränsningarna hos lokala datorer och ge teamen bättre kontroll över åtkomst och spårbarhet.

CodeRabbit använder Codex även utanför utvecklingsarbetet, bland annat för att hantera marknadsföring och operativa uppgifter med kod. ”Vi driver företaget med kod så långt det går”, säger Harjot.

Inom marknadsföringen hanterar företaget Google Ads via pull requests. Teamet skapar och slår samman en begäran för att publicera annonser. Det använder också ett förvar för innehållsproduktion där Codex skapar bildpresentationer och dokument för kunder. ”Om du kan omvandla dina marknadsföringsproblem till kodproblem kan du arbeta tio gånger snabbare”, säger Harjot.

CodeRabbit har kört agenter i sandlådemiljöer sedan 2023, klonat förvar och låtit agenter skriva kod som stöd i granskningarna. På senare tid har CodeRabbit använt OpenAI:s Cyber-modell via Daybreak för att testa och säkra sin egen plattform.

Teamet använde modellen för interna penetrationstester och undersökte hur en angripare skulle kunna ta sig in i den egna plattformen. Harjot säger att den tidiga tillgången hjälpte CodeRabbit att säkra sin egen teknikstack. ”Vi hittade flera sårbarheter – avancerade intrångsmetoder som vi inte ens hade kunnat föreställa oss”, säger Harjot.

Företaget har sedan dess lanserat dessa funktioner på marknaden och hjälper kunderna att säkra sin kod med den senaste produkten, CodeRabbit Secure. Under de senaste två veckorna har företaget haft ett kampanjerbjudande där det bjöd användarna på djupskanningar till ett värde av 1 miljon dollar. Under 13 000 djupskanningar hittades över 43 000 säkerhetssårbarheter, allt med hjälp av Codex-modeller. Kunderna har redan åtgärdat tusentals av dessa sårbarheter och därmed förbättrat kodens säkerhet.

När agenter i bakgrunden börjar hantera larm och incidenter utan att en person startar varje uppgift räknar Harjot med att teamen behöver mer hjälp att avgöra vilka ändringar som ska slutföras.

Framöver breddar CodeRabbit sitt erbjudande mot agentbaserad mjukvaruutveckling och hjälper team att validera, prioritera, förklara, säkra och verifiera agentgenererade kodändringar i stor skala.

Möjligheten ligger i att hjälpa utvecklarna att behålla kontrollen när agenterna står för mer av utvecklingen, med validering, förklaringar och underhåll som håller jämna steg med kodproduktionen.