CodeRabbit：エージェントによる開発の拡大とリリース量 20 倍の実現

CodeRabbit⁠（新しいウィンドウで開く） の共同創業者兼 CEO である Harjot Gill 氏は、AI が生成する成果物が増え続ける中、エージェントが生成したコードの信頼性を確かめ、検証する工程こそが、チームの判断力を発揮する場になりつつあると考えています。「どの企業も、コーディングエージェントを導入すると最初にコードレビューがボトルネックになります」と Harjot 氏は語ります。

CodeRabbit は、AI が生成したコードの検証と信頼性の確保を目的とする、AI を活用したガバナンス・管理プラットフォームを開発しました。20,000 を超える組織と 150,000 以上のオープンソースプロジェクトで利用されている CodeRabbit は、AI エージェントが生成したコードの理解、レビュー、セキュリティ確保を支援し、リリースできる状態かどうかをチームが判断できるようにしています。

CodeRabbit によると、OpenAI の価格性能比の向上により、レビューにより多くの AI エージェントを投入し、そのメリットを顧客に還元できるようになりました。また、Codex⁠ の活用により、同じエンジニアリングチームで 20 倍のソフトウェアをリリースできるようになったといいます。同社は Daybreak⁠ も活用し、自社の技術スタックと顧客のコードの両方を保護しています。最新製品の CodeRabbit Secure は、Daybreak と Codex モデルを組み合わせ、セキュリティに特化したエージェントによって脆弱性を検出・修正します。

CodeRabbit は、GPT‑3.5 Turbo を使って最初の製品を開発しました。Harjot 氏によると、GPT‑4 の登場によって、製品がコードレビューで効果を発揮するようになりました。その後、同社は OpenAI o1 と OpenAI o3 も早期に導入しました。コードレビューはクラウド上で非同期に実行されるため、CodeRabbit は、問題の推論に時間がかかっても、より高度な分析ができるモデルを活用できました。

チームは、既知の問題を集めた独自のベンチマークを使って、新しいモデルを評価しています。インタビュー時点での Harjot 氏の推定では、GPT‑6 Astra⁠ はそのデータセットに含まれる問題の 50% を検出し、同じベンチマークで評価した他のモデルを上回る首位の成績でした。

エージェントがこれまでとは異なる種類のミスを生み、修正を通じて以前のレビューでは見逃されていた問題が明らかになるにつれ、ベンチマークも進化を続けています。「バグの性質は変化し続けています。モデルの性能が上がるにつれ、私たちのベンチマークも進化しています」と Harjot 氏は語ります。

OpenAI のモデルの価格性能比が向上したことで、CodeRabbit は研究段階の機能を製品に取り込めるようになりました。Harjot 氏は、モデルの価格とキャッシュ機能の改善により、AI の活用を広げ、サブエージェントを増やし、そのメリットを顧客に還元できるようになったと指摘します。

CodeRabbit は当初、コードの探索に 1〜2 個のサブエージェントを使用していました。現在は、GPT‑6 Luna などの低コストモデルがプラットフォーム全体でより多くのサブエージェントを支え、GPT‑6 Astra などのモデルが計画立案とオーケストレーションを担っています。

「今では、以前はコスト面で手が届かなかった用途でも、あらゆるところでエージェントを使っています」と Harjot 氏は語ります。これにより、CodeRabbit が実施できる検証の範囲と、開発者に提供できる説明が充実し、開発者が自分で書いていない変更についても理解し、信頼できるようになっています。

Harjot 氏によると、同社は Codex の活用により、エンジニアを増員することなく、過去 6 か月間でソフトウェアのリリース量を約 20 倍に増やしました。同氏自身も、インタビューまでの 30 日間で 2,500〜3,000 件の pull request を送信したと見積もっています。

この成果を実現するには、Codex を導入するだけでは不十分でした。複数のエージェントを稼働させることで、ノート PC のメモリや計算能力から、テスト、ソフトウェアのコンパイル・パッケージ化ツール、依存関係に至るまで、開発プロセス全体の制約が浮き彫りになりました。

チームはリリースプロセスを効率化し、どの段階で人による承認が必要かを見直しました。一方、人の介入を必要としない低リスクの変更は、CodeRabbit を使って自動でリリースしました。「ソフトウェアのデリバリー全体を、根本から見直す必要がありました」と Harjot 氏は語ります。

同社は、Codex を搭載した Slack ボットも開発し、本番環境のインシデントや Slack メッセージ、サポートチケットのトリアージに活用しています。このボットは、チームがレビューしてマージできる pull request を作成できます。Harjot 氏は、クラウドベースの開発を、ローカルマシンの制約を減らし、チームのアクセス管理と監査を強化する手段と捉えています。

CodeRabbit は、エンジニアリング以外の業務にも Codex を活用し、マーケティングやオペレーションのタスクをコードで管理しています。「できる限り、コードで会社を運営しています」と Harjot 氏は語ります。

マーケティングでは、pull request を通じて Google 広告を管理しています。チームはリクエストを作成してマージすることで、広告を配信します。また、コンテンツ制作用のリポジトリも活用しており、そこで Codex がスライド資料や顧客向けドキュメントを作成しています。「マーケティングの課題をコードの課題に置き換えられれば、10 倍の速さで進められます」と Harjot 氏は語ります。

CodeRabbit は 2023 年からサンドボックス環境でエージェントを稼働させ、リポジトリをクローンし、エージェントにコードを書かせることでレビューを支援してきました。最近では、Daybreak を通じて OpenAI の Cyber モデルを活用し、自社プラットフォームのテストとセキュリティ強化を行いました。

チームはこのモデルを社内のペネトレーションテストに活用し、攻撃者が自社プラットフォームに侵入できる経路を探りました。Harjot 氏によると、早期アクセスは CodeRabbit 自身の技術スタックのセキュリティ強化に役立ちました。「複数の脆弱性が見つかりました。起こり得るとは想像もしていなかった高度な攻撃手法です」と Harjot 氏は語ります。

その後、同社はこうした機能を製品化し、最新製品の CodeRabbit Secure を通じて顧客のコードの保護を支援しています。直近の 2 週間には、総額 100 万ドル相当の詳細スキャンをユーザーに無料で提供するキャンペーンを実施しました。すべて Codex モデルを活用した 13,000 回の詳細スキャンで、43,000 件を超えるセキュリティ上の脆弱性を発見しました。これらの脆弱性のうち数千件は、すでに顧客によって修正されており、コードのセキュリティ向上につながっています。

人がタスクを一つひとつ開始しなくても、バックグラウンドのエージェントがアラートやインシデントに対応するようになると、どの変更を完了まで進めるかを判断するための支援が、チームにとってさらに必要になると Harjot 氏は見ています。

CodeRabbit は今後を見据え、エージェントによるソフトウェア開発へと事業を拡大しています。エージェントが生成する大量のコード変更に対して、妥当性の確認、優先順位付け、説明、セキュリティ確保、検証を行えるようチームを支援しています。

エージェントが開発のより多くを担うようになっても、開発者が主導権を保てるようにすること。コードが生み出されるペースに合わせて検証、説明、保守を提供することに、その可能性があります。