CodeRabbit skalerer med agenter og leverer 20 gange mere software

For Harjot Gill, medstifter og adm. direktør i CodeRabbit⁠(åbner i et nyt vindue), bliver vurdering og validering af agentgenereret kode det område, hvor teams bruger deres dømmekraft til at håndtere en voksende mængde AI-genereret arbejde. »Den første flaskehals, enhver virksomhed støder på, så snart den tager kodeagenter i brug, er kodegennemgang,« siger Harjot.

CodeRabbit har udviklet en AI-baseret styrings- og kontrolplatform, der skal validere AI-genereret kode og skabe tillid til den. CodeRabbit bruges af over 20.000 organisationer og mere end 150.000 open source-projekter. Platformen hjælper teams med at forstå, gennemgå og sikre kode produceret af AI-agenter og afgøre, hvad der er klar til udgivelse.

Ifølge CodeRabbit gør det forbedrede forhold mellem pris og ydeevne hos OpenAI det muligt at bruge flere AI-agenter i kodegennemgange og lade fordelene komme kunderne til gode. Samtidig hjælper Codex⁠ virksomheden med at levere 20 gange mere software med det samme udviklerteam. Virksomheden bruger også Daybreak⁠ til at sikre både sin egen teknologistak og kundernes kode. Dens nyeste produkt, CodeRabbit Secure, bruger Daybreak med Codex-modeller til at finde og rette sårbarheder ved hjælp af sikkerhedsfokuserede agenter.

CodeRabbit udviklede sit første produkt med GPT‑3.5 Turbo. Harjot fortæller, at produktet blev effektivt til kodegennemgang, da GPT‑4 kom til. Virksomheden var efterfølgende tidligt ude med at tage OpenAI o1 og OpenAI o3 i brug. Fordi kodegennemgange kører asynkront i skyen, kunne CodeRabbit bruge modeller, der tog længere tid om at ræsonnere sig gennem et problem, men til gengæld leverede bedre analyser.

Teamet evaluerer nye modeller med sin egen benchmark baseret på kendte problemer. På interviewtidspunktet anslog Harjot, at GPT‑6 Astra⁠ fandt 50 % af problemerne i datasættet, hvilket placerede modellen øverst i denne benchmark sammenlignet med andre modeller.

Benchmarken udvikler sig løbende, efterhånden som agenter introducerer nye typer fejl, og rettelser afslører problemer, som tidligere kodegennemgange overså. »Fejltyperne ændrer sig hele tiden, og det samme gør vores benchmark, i takt med at modellerne bliver bedre,« siger Harjot.

Det forbedrede forhold mellem pris og ydeevne i OpenAI's modeller har hjulpet CodeRabbit med at omsætte forskningsresultater til funktioner i produktet. Harjot fremhæver bedre modelpriser og caching, som gør det muligt for virksomheden at bruge mere AI, tilføje flere underagenter og lade fordelene komme kunderne til gode.

Da CodeRabbit startede, brugte virksomheden en eller to underagenter til at navigere i koden. Billigere modeller som GPT‑6 Luna gør det nu muligt at bruge flere underagenter på tværs af platformen, mens modeller som GPT‑6 Astra står for planlægning og orkestrering.

»Nu bruger vi agenter overalt til opgaver, som vi før ikke engang havde råd til at bruge dem til,« siger Harjot. Det udvider CodeRabbits muligheder for validering og for at give udviklerne forklaringer, så de bedre kan forstå og stole på ændringer, de ikke selv har skrevet.

Ifølge Harjot har virksomheden ved hjælp af Codex leveret omkring 20 gange mere software i de seneste 6 måneder uden at ansætte flere udviklere. Han anslår selv, at han indsendte mellem 2.500 og 3.000 pull requests i de 30 dage op til interviewet.

At nå dertil krævede mere end blot at tage Codex i brug. Brugen af flere agenter afslørede begrænsninger i hele udviklingsprocessen: fra de bærbare computeres hukommelse og regnekraft til test, værktøjer til kompilering og pakning af software samt afhængigheder.

Teamet strømlinede udgivelsesprocessen og genovervejede, hvor der var brug for menneskelig godkendelse. Samtidig brugte det CodeRabbit til automatisk at udgive ændringer med lav risiko, som ikke krævede menneskelig indgriben. »Vi var faktisk nødt til at gentænke hele vores softwareleverance fra bunden,« siger Harjot.

Virksomheden har også udviklet en Slack-bot baseret på Codex, der sorterer og prioriterer driftshændelser, Slack-beskeder og supportsager. Den kan levere en pull request, som teamet kan gennemgå og flette ind. Harjot ser cloudbaseret udvikling som en måde at mindske begrænsningerne ved lokale computere og give teams bedre muligheder for adgangsstyring og revision.

CodeRabbit bruger også Codex uden for softwareudvikling, blandt andet til at styre marketing- og driftsopgaver gennem kode. »Vi driver så meget af virksomheden som muligt gennem kode,« siger Harjot.

Inden for marketing styrer virksomheden Google Ads via pull requests. Teamet opretter og fletter en pull request ind for at publicere annoncer. Det bruger også et lager til indholdsproduktion, hvor Codex opretter præsentationer og dokumenter til kunder. »Hvis du kan omsætte dine marketingproblemer til kodeproblemer, kan du arbejde 10 gange hurtigere,« siger Harjot.

CodeRabbit har siden 2023 kørt agenter i sandkassemiljøer, klonet lagre og ladet agenter skrive kode for at hjælpe med kodegennemgange. For nylig brugte CodeRabbit OpenAI's Cyber-model via Daybreak til at teste og sikre sin egen platform.

Teamet brugte modellen til intern penetrationstest og undersøgte sin egen platform for at finde mulige indtrængningsveje for en angriber. Harjot fortæller, at den tidlige adgang hjalp CodeRabbit med at sikre virksomhedens egen teknologistak. »Vi fandt flere sårbarheder og avancerede angrebsmetoder, som vi slet ikke havde forestillet os var mulige,« siger Harjot.

Virksomheden har siden gjort disse funktioner tilgængelige på markedet og hjælper nu med at sikre kundernes kode gennem sit nyeste produkt, CodeRabbit Secure. I de seneste to uger har virksomheden kørt en kampagne med gratis dybdescanninger til brugerne til en samlet værdi af 1 mio. USD. Den fandt over 43.000 sikkerhedssårbarheder i 13.000 dybdescanninger, alle drevet af Codex-modeller. Kunderne har allerede rettet tusindvis af disse sårbarheder og dermed forbedret sikkerheden i deres kode.

Når agenter i baggrunden begynder at reagere på alarmer og hændelser, uden at et menneske sætter hver opgave i gang, forventer Harjot, at teams får brug for mere hjælp til at beslutte, hvilke ændringer de skal føre til ende.

Fremover udvider CodeRabbit sit fokus til agentbaseret softwareudvikling og hjælper teams med at validere, prioritere, forklare, sikre og verificere agentgenererede kodeændringer i stor skala.

Muligheden ligger i at hjælpe udviklere med at bevare kontrollen, i takt med at agenter står for mere af udviklingen, med validering, forklaringer og vedligeholdelse, der holder trit med den kode, der produceres.