CodeRabbit skalerer agentbasert utvikling og leverer 20x mer

For Harjot Gill, medgründer og administrerende direktør i CodeRabbit⁠(åpnes i et nytt vindu), blir det å validere agentgenerert kode og vurdere om den er til å stole på, stadig viktigere. Det er her teamene bruker sin dømmekraft i møte med en økende mengde AI-generert arbeid. «Den første flaskehalsen alle selskaper møter når de tar i bruk kodeagenter, er kodegjennomgang», sier Harjot.

CodeRabbit bygget en AI-drevet plattform for styring og kontroll, utformet for å validere og sikre tillit til AI-generert kode. CodeRabbit brukes av over 20 000 organisasjoner og mer enn 150 000 prosjekter med åpen kildekode. Plattformen hjelper team med å forstå, gjennomgå og sikre kode produsert av AI-agenter og avgjøre hva som er klart til å lanseres.

Ifølge CodeRabbit gjør bedre ytelse for pengene fra OpenAI det mulig å bruke flere AI-agenter i kodegjennomgangene og la fordelene komme kundene til gode. Samtidig hjelper Codex⁠ selskapet med å levere 20 ganger mer programvare med det samme utviklerteamet. Selskapet bruker også Daybreak⁠ til å sikre både sin egen teknologistakk og kundenes kode. Det nyeste produktet, CodeRabbit Secure, bruker Daybreak med Codex-modeller til å finne og utbedre sårbarheter ved hjelp av sikkerhetsfokuserte agenter.

CodeRabbit bygget sitt første produkt med GPT‑3.5 Turbo. Harjot sier at produktet ble effektivt til å gjennomgå kode da GPT‑4 kom. Selskapet var senere tidlig ute med å ta i bruk OpenAI o1 og OpenAI o3. Fordi kodegjennomgangene kjøres asynkront i skyen, kunne CodeRabbit bruke modeller som brukte mer tid på å resonnere seg gjennom et problem, til gjengjeld for bedre analyser.

Teamet evaluerer nye modeller med sin egen referansetest basert på kjente problemer. På intervjutidspunktet anslo Harjot at GPT‑6 Astra⁠ oppdaget 50 % av problemene i dette datasettet. Det plasserte modellen øverst sammenlignet med de andre modellene i referansetesten.

Referansetesten utvikler seg stadig etter hvert som agenter introduserer nye typer feil, og rettelser avdekker problemer som tidligere gjennomganger overså. «Feilene endrer stadig karakter, og referansetesten vår utvikler seg også etter hvert som modellene blir bedre», sier Harjot.

Bedre ytelse for pengene fra OpenAIs modeller har hjulpet CodeRabbit med å ta nye funksjoner fra forskning til produkt. Harjot peker på gunstigere modellpriser og bedre hurtigbufring, som lar selskapet bruke mer AI, legge til flere underagenter og la fordelene komme kundene til gode.

Da CodeRabbit startet, brukte selskapet én eller to underagenter til å navigere i kode. Rimeligere modeller som GPT‑6 Luna gjør det nå mulig å bruke flere underagenter på tvers av plattformen, mens modeller som GPT‑6 Astra håndterer planlegging og orkestrering.

«Nå bruker vi agenter overalt, til oppgaver vi ikke engang hadde råd til å bruke dem til før», sier Harjot. Det utvider både valideringen CodeRabbit kan utføre, og forklaringene det kan gi utviklere. Dermed blir det lettere for dem å forstå og stole på endringer de ikke har skrevet selv.

Harjot sier at selskapet ved hjelp av Codex har levert omtrent 20 ganger mer programvare de siste seks månedene uten å ansette flere utviklere. Han anslår at han selv sendte inn mellom 2 500 og 3 000 pull requests i løpet av de 30 dagene før intervjuet.

For å komme dit måtte de gjøre mer enn å ta i bruk Codex. Å kjøre flere agenter avdekket begrensninger i hele utviklingsprosessen, fra minne og regnekraft på bærbare maskiner til testing, verktøy for å kompilere og pakke programvare og avhengigheter.

Teamet effektiviserte lanseringsprosessen og vurderte på nytt hvor det var behov for menneskelig godkjenning. Samtidig brukte de CodeRabbit til automatisk å sette lavrisikoendringer i produksjon uten behov for menneskelig inngripen. «Vi måtte faktisk tenke helt nytt om hele prosessen for programvareleveranse», sier Harjot.

Selskapet har også bygget en Slack-bot drevet av Codex som vurderer og prioriterer produksjonshendelser, Slack-meldinger og supportsaker. Den kan levere en pull request som teamet kan gjennomgå og flette inn. Harjot ser skybasert utvikling som en måte å redusere begrensningene ved lokale maskiner på og gi team bedre kontroll over tilgang og revisjon.

CodeRabbit bruker Codex til mer enn programvareutvikling, blant annet til å håndtere markedsføring og driftsoppgaver gjennom kode. «Vi driver selskapet gjennom kode så langt det lar seg gjøre», sier Harjot.

Innen markedsføring administrerer selskapet Google Ads gjennom pull requests. Teamet oppretter og fletter inn en pull request for å publisere annonser. De bruker også et lager for innholdsproduksjon der Codex lager lysbildepresentasjoner og dokumenter rettet mot kunder. «Hvis du kan gjøre markedsføringsproblemer om til kodeproblemer, kan du jobbe ti ganger raskere», sier Harjot.

CodeRabbit har kjørt agenter i sandkassemiljøer siden 2023, klonet lagre og latt agenter skrive kode som hjelper til med kodegjennomganger. Nylig brukte CodeRabbit OpenAIs Cyber-modell gjennom Daybreak til å teste og sikre sin egen plattform.

Teamet brukte modellen til intern penetrasjonstesting for å finne måter en angriper kunne bryte seg inn i plattformen på. Harjot sier at den tidlige tilgangen hjalp CodeRabbit med å sikre sin egen teknologistakk. «Vi fant flere sårbarheter og avanserte angrepsmetoder som vi ikke engang kunne forestille oss var mulige», sier Harjot.

Selskapet har siden gjort disse funksjonene tilgjengelige på markedet og bidrar til å sikre kundenes kode med sitt nyeste produkt, CodeRabbit Secure. De siste to ukene har selskapet gjennomført en kampanje der det dekket dybdeskanninger til en verdi av én million dollar, gratis for brukerne. På tvers av 13 000 dybdeskanninger fant det over 43 000 sikkerhetssårbarheter, alt drevet av Codex-modeller. Kundene har allerede utbedret tusenvis av disse sårbarhetene og dermed gjort koden sin sikrere.

Når bakgrunnsagenter begynner å reagere på varsler og hendelser uten at et menneske setter i gang hver oppgave, forventer Harjot at team vil trenge mer hjelp til å avgjøre hvilke endringer som bør fullføres.

Fremover utvider CodeRabbit virksomheten mot agentbasert programvareutvikling og hjelper team med å validere, prioritere, forklare, sikre og verifisere agentgenererte kodeendringer i stor skala.

Muligheten ligger i å hjelpe utviklere med å beholde kontrollen når agenter står for mer av utviklingen, med validering, forklaringer og vedlikehold som holder tritt med kodeproduksjonen.