CodeRabbit liefert mit KI-Agenten 20-mal mehr Software aus

Für Harjot Gill, co-founder and CEO von CodeRabbit⁠(wird in einem neuen Fenster geöffnet), wird die Prüfung von agentengeneriertem Code und seiner Vertrauenswürdigkeit zunehmend zur zentralen Aufgabe: Hier bringen Teams ihr Urteilsvermögen ein, während der Umfang KI-generierter Arbeit wächst. „Sobald ein Unternehmen Coding-Agenten einführt, werden Code-Reviews zum ersten Engpass“, sagt Harjot.

CodeRabbit hat eine KI-gestützte Governance- und Kontrollplattform entwickelt, um KI-generierten Code zu validieren und Vertrauen darin zu schaffen. Mehr als 20.000 Organisationen und über 150.000 Open-Source-Projekte nutzen CodeRabbit. Die Plattform hilft Teams, den von KI-Agenten erzeugten Code zu verstehen, zu prüfen und abzusichern sowie zu entscheiden, was bereit zur Auslieferung ist.

Laut CodeRabbit ermöglicht das bessere Preis-Leistungs-Verhältnis von OpenAI den Einsatz weiterer KI-Agenten bei Code-Reviews. Die Vorteile gibt das Unternehmen an seine Kundenunternehmen weiter. Mithilfe von Codex⁠ liefert es mit demselben Entwicklungsteam 20-mal mehr Software aus. Das Unternehmen nutzt außerdem Daybreak⁠, um sowohl den eigenen Technologie-Stack als auch den Code seiner Kundenunternehmen abzusichern. Das neueste Angebot, CodeRabbit Secure, nutzt Daybreak mit Codex-Modellen, um mithilfe seiner auf Sicherheit spezialisierten Agenten Schwachstellen zu finden und zu beheben.

CodeRabbit entwickelte sein erstes Produkt mit GPT‑3.5 Turbo. Laut Harjot wurde das Produkt mit der Einführung von GPT‑4 bei Code-Reviews effektiv. Anschließend setzte das Unternehmen frühzeitig OpenAI o1 und OpenAI o3 ein. Da Code-Reviews asynchron in der Cloud ablaufen, konnte CodeRabbit Modelle einsetzen, die mehr Zeit zum Durchdenken eines Problems brauchten, dafür aber leistungsfähigere Analysen lieferten.

Das Team bewertet neue Modelle anhand eines eigenen Benchmarks mit bekannten Problemen. Zum Zeitpunkt des Interviews schätzte Harjot, dass GPT‑6 Astra⁠ 50 % der Probleme in diesem Datensatz erkannte und damit im Vergleich zu anderen Modellen in diesem Benchmark an der Spitze lag.

Der Benchmark entwickelt sich laufend weiter: Agenten verursachen neue Arten von Fehlern, und bei Fehlerbehebungen werden Probleme sichtbar, die frühere Reviews übersehen haben. „Die Art der Fehler verändert sich ständig. Deshalb entwickelt sich auch unser Benchmark weiter, während die Modelle besser werden“, sagt Harjot.

Das bessere Preis-Leistungs-Verhältnis der OpenAI-Modelle hat CodeRabbit dabei geholfen, Funktionen aus der Forschung in sein Produkt zu übernehmen. Harjot verweist auf Verbesserungen bei Modellpreisen und Caching. Dadurch kann das Unternehmen mehr KI einsetzen, zusätzliche Unteragenten einbinden und die Vorteile an seine Kundenunternehmen weitergeben.

Zu Beginn setzte CodeRabbit ein oder zwei Unteragenten für die Navigation im Code ein. Kostengünstigere Modelle wie GPT‑6 Luna ermöglichen inzwischen den Einsatz weiterer Unteragenten auf der gesamten Plattform. Modelle wie GPT‑6 Astra übernehmen die Planung und Orchestrierung.

„Jetzt setzen wir überall Agenten für Anwendungsfälle ein, die wir uns früher gar nicht leisten konnten“, sagt Harjot. Damit kann CodeRabbit umfassender validieren und Entwicklungsteams mehr Erklärungen liefern. Das hilft ihnen, Änderungen zu verstehen und ihnen zu vertrauen, auch wenn sie den Code nicht selbst geschrieben haben.

Laut Harjot hat das Unternehmen dank Codex in den vergangenen sechs Monaten rund 20-mal mehr Software ausgeliefert, ohne das Entwicklungsteam zu vergrößern. Er schätzt, dass er selbst in den 30 Tagen vor dem Interview 2.500 bis 3.000 Pull Requests eingereicht hat.

Dafür war mehr nötig als die Einführung von Codex. Der Betrieb mehrerer Agenten machte Engpässe im gesamten Entwicklungsprozess sichtbar: beim Arbeitsspeicher und der Rechenleistung von Laptops, bei Tests, bei den Werkzeugen zum Kompilieren und Paketieren von Software sowie bei Abhängigkeiten.

Das Team straffte seinen Release-Prozess und überdachte, an welchen Stellen menschliche Freigaben nötig waren. Zugleich nutzte es CodeRabbit, um risikoarme Änderungen, die keinen menschlichen Eingriff erforderten, automatisch auszuliefern. „Wir mussten tatsächlich die gesamte Softwareauslieferung völlig neu denken“, sagt Harjot.

Das Unternehmen hat außerdem einen Slack-Bot auf Basis von Codex entwickelt, der Störungen im Produktivbetrieb, Slack-Nachrichten und Support-Tickets einordnet und priorisiert. Er kann einen Pull Request bereitstellen, den das Team prüfen und zusammenführen kann. Harjot sieht in der cloudbasierten Entwicklung eine Möglichkeit, die Beschränkungen lokaler Rechner zu verringern und Teams mehr Kontrolle über Zugriffe und deren Überprüfung zu geben.

CodeRabbit setzt Codex auch außerhalb der Softwareentwicklung ein, etwa um Marketingaufgaben und betriebliche Abläufe durch Code zu steuern. „Wir steuern das Unternehmen so weit wie möglich durch Code“, sagt Harjot.

Im Marketing verwaltet das Unternehmen Google Ads über Pull Requests. Um Anzeigen zu schalten, erstellt das Team einen Pull Request und führt ihn zusammen. Es nutzt außerdem ein Repository zur Inhaltserstellung, in dem Codex Präsentationen und Dokumente für Kundenunternehmen erstellt. „Wenn du deine Marketingprobleme in Codeprobleme übersetzen kannst, arbeitest du zehnmal schneller“, sagt Harjot.

Seit 2023 betreibt CodeRabbit Agenten in Sandbox-Umgebungen. Dazu klont das Unternehmen Repositorys und lässt Agenten Code schreiben, der bei Code-Reviews hilft. Vor Kurzem nutzte CodeRabbit das Cyber-Modell von OpenAI über Daybreak, um die eigene Plattform zu testen und abzusichern.

Das Team setzte das Modell für interne Penetrationstests ein und untersuchte die eigene Plattform auf mögliche Einfallstore für Angriffe. Laut Harjot half der frühzeitige Zugang CodeRabbit dabei, den eigenen Technologie-Stack abzusichern. „Wir haben mehrere Schwachstellen gefunden, ausgeklügelte Angriffsmöglichkeiten, die wir uns nicht einmal hätten vorstellen können“, sagt Harjot.

Inzwischen bietet das Unternehmen diese Funktionen auch am Markt an: Mit seinem neuesten Produkt, CodeRabbit Secure, hilft es Kundenunternehmen, ihren Code abzusichern. In den vergangenen zwei Wochen übernahm das Unternehmen im Rahmen einer Werbeaktion die Kosten für kostenlose Tiefenscans im Wert von 1 Mio. USD für alle, die CodeRabbit nutzen. Bei 13.000 Tiefenscans wurden über 43.000 Sicherheitslücken gefunden, alles mithilfe von Codex-Modellen. Kundenunternehmen haben bereits Tausende dieser Schwachstellen behoben und damit die Sicherheit ihres Codes verbessert.

Agenten beginnen, im Hintergrund auf Warnmeldungen und Störungen zu reagieren, ohne dass ein Mensch jede Aufgabe anstoßen muss. Harjot erwartet deshalb, dass Teams mehr Unterstützung bei der Entscheidung brauchen werden, welche Änderungen sie bis zum Abschluss verfolgen.

Künftig weitet CodeRabbit sein Angebot in Richtung agentengestützter Softwareentwicklung aus. Es hilft Teams, agentengenerierte Codeänderungen in großem Umfang zu validieren, zu priorisieren, zu erklären, abzusichern und zu überprüfen.

Darin liegt die Chance: Entwicklungsteams können die Kontrolle behalten, während Agenten mehr Entwicklungsarbeit übernehmen. Validierung, Erklärungen und Wartung müssen dabei mit der Menge des erzeugten Codes Schritt halten.