CodeRabbit développe avec des agents et livre 20 fois plus

Pour Harjot Gill, cofondateur et PDG de CodeRabbit⁠(s'ouvre dans une nouvelle fenêtre), valider le code produit par les agents et en établir la fiabilité devient le moyen pour les équipes d’exercer leur jugement face à un volume croissant de travail généré par l’IA. « Le premier goulot d’étranglement auquel toute entreprise se heurte dès qu’elle adopte des agents de programmation, c’est la révision du code », explique Harjot.

CodeRabbit a créé une plateforme de gouvernance et de contrôle propulsée par l’IA, conçue pour valider le code généré par l’IA et en établir la fiabilité. Utilisé par plus de 20 000 organisations et plus de 150 000 projets à code source ouvert, CodeRabbit aide les équipes à comprendre, à réviser et à sécuriser le code produit par les agents d’IA, puis à décider ce qui est prêt à être livré.

Selon CodeRabbit, le meilleur rapport prix-performance d’OpenAI lui permet d’ajouter davantage d’agents d’IA à ses révisions et d’en faire profiter ses clients, tandis que Codex⁠ l’aide à livrer 20 fois plus de logiciels avec la même équipe d’ingénierie. L’entreprise utilise aussi Daybreak⁠ pour sécuriser à la fois sa propre pile technologique et le code de ses clients. Sa plus récente offre, CodeRabbit Secure, utilise Daybreak avec les modèles Codex pour détecter et corriger les vulnérabilités à l’aide de ses agents spécialisés en sécurité.

CodeRabbit a créé son premier produit avec GPT‑3.5 Turbo. Harjot affirme que l’arrivée de GPT‑4 a rendu le produit efficace pour la révision du code. L’entreprise a ensuite adopté très tôt OpenAI o1 et OpenAI o3. Comme les révisions de code s’exécutent de façon asynchrone dans le nuage, CodeRabbit pouvait utiliser des modèles qui prenaient plus de temps pour raisonner sur un problème, en échange d’une analyse plus poussée.

L’équipe évalue les nouveaux modèles à l’aide de son propre banc d’essai constitué de problèmes connus. Au moment de l’entrevue, Harjot estimait que GPT‑6 Astra⁠ détectait 50 % des problèmes dans cet ensemble de données, ce qui le plaçait en tête des modèles évalués sur ce banc d’essai.

Le banc d’essai continue d’évoluer à mesure que les agents introduisent différents types d’erreurs et que les correctifs révèlent des problèmes passés inaperçus lors des révisions précédentes. « La nature des bogues continue d’évoluer, tout comme notre banc d’essai à mesure que les modèles s’améliorent », explique Harjot.

Le meilleur rapport prix-performance des modèles OpenAI a aidé CodeRabbit à intégrer à son produit des capacités issues de la recherche. Harjot souligne les améliorations de la tarification des modèles et de la mise en cache, qui permettent à l’entreprise d’utiliser davantage l’IA, d’ajouter des sous-agents et d’en faire profiter ses clients.

À ses débuts, CodeRabbit utilisait un ou deux sous-agents pour naviguer dans le code. Des modèles moins coûteux comme GPT‑6 Luna permettent maintenant d’utiliser davantage de sous-agents dans toute la plateforme, tandis que des modèles comme GPT‑6 Astra prennent en charge la planification et l’orchestration.

« Nous utilisons maintenant des agents partout, pour des cas d’utilisation que nous n’avions même pas les moyens d’envisager auparavant », explique Harjot. Cela élargit la portée des validations que CodeRabbit peut effectuer et des explications qu’il peut fournir aux développeurs, pour les aider à comprendre les modifications qu’ils n’ont pas écrites eux-mêmes et à leur faire confiance.

Grâce à Codex, Harjot affirme que l’entreprise a livré environ 20 fois plus de logiciels au cours des 6 derniers mois, sans embaucher d’ingénieurs supplémentaires. Il estime avoir lui-même soumis entre 2 500 et 3 000 pull requests dans les 30 jours précédant l’entrevue.

Pour y parvenir, il a fallu plus que l’adoption de Codex. L’exécution de plusieurs agents a révélé des contraintes tout au long du processus de développement, de la mémoire et de la puissance de calcul des portables aux tests, en passant par les outils de compilation et d’empaquetage des logiciels et les dépendances.

L’équipe a simplifié son processus de mise en production et réévalué les étapes nécessitant une approbation humaine, tout en utilisant CodeRabbit pour livrer automatiquement les modifications à faible risque ne nécessitant aucune intervention humaine. « Nous avons dû repenser complètement l’ensemble du processus de livraison des logiciels », explique Harjot.

L’entreprise a aussi créé un robot Slack propulsé par Codex qui effectue le tri des incidents de production, des messages Slack et des billets d’assistance. Il peut générer une pull request que l’équipe peut examiner et fusionner. Harjot voit le développement infonuagique comme un moyen de réduire les contraintes des ordinateurs locaux et de donner aux équipes de meilleurs contrôles d’accès et d’audit.

CodeRabbit utilise Codex au-delà de l’ingénierie, notamment pour gérer des tâches de marketing et d’exploitation au moyen du code. « Nous gérons l’entreprise par le code autant que possible », explique Harjot.

En marketing, l’entreprise gère Google Ads au moyen de pull requests. L’équipe ouvre et fusionne une demande pour déployer des publicités. Elle utilise aussi un dépôt de création de contenu où Codex produit des présentations et des documents destinés à la clientèle. « Si vous pouvez traduire vos problèmes de marketing en problèmes de code, vous avancerez 10 fois plus vite », affirme Harjot.

Depuis 2023, CodeRabbit exécute des agents dans des environnements de bac à sable, en clonant des dépôts et en laissant les agents écrire du code pour faciliter les révisions. Plus récemment, CodeRabbit a utilisé le modèle Cyber d’OpenAI par l’intermédiaire de Daybreak pour tester et sécuriser sa propre plateforme.

L’équipe a utilisé le modèle pour effectuer des tests d’intrusion internes, en sondant sa propre plateforme pour repérer les façons dont un attaquant pourrait s’y introduire. Harjot affirme que cet accès anticipé a aidé CodeRabbit à sécuriser sa propre pile technologique. « Nous avons découvert plusieurs vulnérabilités, des techniques de piratage avancées que nous n’aurions même pas imaginées possibles », explique Harjot.

L’entreprise a depuis commercialisé ces capacités, aidant à sécuriser le code de ses clients avec son plus récent produit, CodeRabbit Secure. Au cours des deux dernières semaines, l’entreprise a proposé une promotion offrant à ses utilisateurs 1 M$ d’analyses approfondies gratuites. Elle a détecté plus de 43 000 vulnérabilités de sécurité lors de 13 000 analyses approfondies, toutes propulsées par les modèles Codex. Ses clients ont déjà corrigé des milliers de ces vulnérabilités, améliorant ainsi la sécurité de leur code.

Alors que les agents en arrière-plan commencent à répondre aux alertes et aux incidents sans qu’une personne lance chaque tâche, Harjot s’attend à ce que les équipes aient besoin de plus d’aide pour décider quelles modifications mener à terme.

Pour l’avenir, CodeRabbit élargit ses activités vers le développement logiciel agentique, aidant les équipes à valider, à prioriser, à expliquer, à sécuriser et à vérifier à grande échelle les modifications de code générées par les agents.

L’occasion consiste à aider les développeurs à garder le contrôle alors que les agents prennent en charge une plus grande part du développement, grâce à une validation, à des explications et à une maintenance qui suivent le rythme du code produit.