CodeRabbit étend le développement agentique et livre 20 fois plus

Pour Harjot Gill, cofondateur et PDG de CodeRabbit⁠(ouverture dans une nouvelle fenêtre), valider le code produit par des agents et établir sa fiabilité devient le point où les équipes exercent leur jugement face à un volume croissant de travail généré par l’IA. « Le premier goulot d’étranglement auquel toute entreprise se heurte dès qu’elle adopte des agents de programmation, ce sont les revues de code », explique Harjot.

CodeRabbit a créé une plateforme de gouvernance et de contrôle basée sur l’IA, conçue pour valider le code généré par l’IA et établir sa fiabilité. Utilisé par plus de 20 000 organisations et plus de 150 000 projets open source, CodeRabbit aide les équipes à comprendre, examiner et sécuriser le code produit par des agents d’IA, et à décider de ce qui est prêt à être livré.

Selon CodeRabbit, le meilleur rapport prix-performances d’OpenAI lui permet d’ajouter davantage d’agents d’IA à ses revues et d’en faire profiter ses clients, tandis que Codex⁠ l’aide à livrer 20 fois plus de logiciels avec la même équipe d’ingénierie. L’entreprise utilise aussi Daybreak⁠ pour sécuriser à la fois sa propre pile technologique et le code de ses clients. Sa dernière offre, CodeRabbit Secure, associe Daybreak aux modèles Codex pour détecter et corriger les vulnérabilités grâce à ses agents spécialisés en sécurité.

CodeRabbit a créé son premier produit avec GPT‑3.5 Turbo. Selon Harjot, l’arrivée de GPT‑4 a rendu le produit efficace pour la revue de code. L’entreprise a ensuite adopté très tôt OpenAI o1 et OpenAI o3. Les revues de code s’exécutant de manière asynchrone dans le cloud, CodeRabbit pouvait utiliser des modèles prenant plus de temps pour raisonner sur un problème, en contrepartie d’une analyse plus poussée.

L’équipe évalue les nouveaux modèles à l’aide de son propre test de référence fondé sur des problèmes connus. Au moment de l’entretien, Harjot estimait que GPT‑6 Astra⁠ détectait 50 % des problèmes de ce jeu de données, ce qui le plaçait en tête des modèles évalués dans ce test de référence.

Ce test de référence continue d’évoluer à mesure que les agents introduisent différents types d’erreurs et que les corrections révèlent des problèmes passés inaperçus lors des revues précédentes. « La nature des bugs ne cesse d’évoluer, tout comme notre test de référence à mesure que les modèles s’améliorent », explique Harjot.

Le meilleur rapport prix-performances des modèles OpenAI a aidé CodeRabbit à intégrer à son produit des capacités issues de la recherche. Harjot souligne les améliorations de la tarification des modèles et de la mise en cache, qui permettent à l’entreprise d’utiliser davantage l’IA, d’ajouter plus de sous-agents et d’en faire profiter ses clients.

À ses débuts, CodeRabbit utilisait un ou deux sous-agents pour naviguer dans le code. Des modèles moins coûteux comme GPT‑6 Luna permettent désormais d’utiliser davantage de sous-agents sur toute la plateforme, tandis que des modèles comme GPT‑6 Astra prennent en charge la planification et l’orchestration.

« Nous utilisons désormais des agents partout, pour des cas d’usage que nous n’avions même pas les moyens de prendre en charge auparavant », explique Harjot. Cela élargit les validations que CodeRabbit peut effectuer et les explications qu’il peut fournir aux développeurs, les aidant à comprendre les modifications qu’ils n’ont pas écrites eux-mêmes et à leur faire confiance.

Selon Harjot, grâce à Codex, l’entreprise a livré environ 20 fois plus de logiciels au cours des 6 derniers mois, sans recruter d’ingénieurs supplémentaires. Il estime avoir lui-même soumis entre 2 500 et 3 000 pull requests dans les 30 jours précédant l’entretien.

Pour y parvenir, il ne suffisait pas d’adopter Codex. L’exécution de plusieurs agents a révélé des contraintes tout au long du processus de développement : mémoire et puissance de calcul des ordinateurs portables, tests, outils de compilation et de mise en paquet des logiciels, ou encore dépendances.

L’équipe a rationalisé son processus de livraison et repensé la place des validations humaines, tout en utilisant CodeRabbit pour livrer automatiquement les modifications à faible risque ne nécessitant pas d’intervention humaine. « Nous avons vraiment dû repenser entièrement tout le processus de livraison logicielle », explique Harjot.

L’entreprise a aussi créé un bot Slack propulsé par Codex qui trie les incidents de production, les messages Slack et les tickets d’assistance. Il peut proposer une pull request que l’équipe peut examiner et fusionner. Harjot voit dans le développement dans le cloud un moyen de réduire les contraintes des machines locales et de donner aux équipes davantage de contrôle sur les accès et les audits.

CodeRabbit utilise Codex au-delà du développement logiciel, notamment pour gérer des tâches marketing et opérationnelles par le code. « Nous pilotons l’entreprise par le code autant que possible », explique Harjot.

Côté marketing, l’entreprise gère Google Ads au moyen de pull requests. L’équipe ouvre et fusionne une pull request pour déployer des annonces. Elle utilise aussi un dépôt dédié à la création de contenu, où Codex crée des présentations et des documents destinés aux clients. « Si vous pouvez traduire vos problèmes marketing en problèmes de code, vous avancerez 10 fois plus vite », affirme Harjot.

Depuis 2023, CodeRabbit exécute des agents dans des environnements isolés, en clonant des dépôts et en laissant les agents écrire du code pour faciliter les revues. Plus récemment, CodeRabbit a utilisé le modèle Cyber d’OpenAI via Daybreak pour tester et sécuriser sa propre plateforme.

L’équipe a utilisé le modèle pour des tests d’intrusion internes, en sondant sa propre plateforme afin de trouver les moyens par lesquels un attaquant pourrait s’y introduire. Selon Harjot, cet accès anticipé a aidé CodeRabbit à sécuriser sa propre pile technologique. « Nous avons découvert plusieurs vulnérabilités, des techniques de piratage avancées dont nous ne pouvions même pas imaginer la possibilité », raconte Harjot.

L’entreprise a depuis commercialisé ces capacités, contribuant à sécuriser le code de ses clients avec son dernier produit, CodeRabbit Secure. Au cours des deux dernières semaines, l’entreprise a proposé une offre promotionnelle prenant en charge un million de dollars d’analyses approfondies gratuites pour ses utilisateurs. Elle a ainsi détecté plus de 43 000 vulnérabilités de sécurité au fil de 13 000 analyses approfondies, toutes réalisées grâce aux modèles Codex. Ses clients ont déjà corrigé des milliers de ces vulnérabilités, renforçant ainsi la sécurité de leur code.

Alors que les agents en arrière-plan commencent à répondre aux alertes et aux incidents sans qu’une personne lance chaque tâche, Harjot estime que les équipes auront besoin de plus d’aide pour décider quelles modifications mener à terme.

Pour la suite, CodeRabbit s’étend au développement logiciel agentique, en aidant les équipes à valider, hiérarchiser, expliquer, sécuriser et vérifier à grande échelle les modifications de code générées par les agents.

L’enjeu est d’aider les développeurs à garder le contrôle à mesure que les agents prennent en charge davantage de développement, grâce à une validation, des explications et une maintenance qui suivent le rythme de production du code.