에이전트 기반 소프트웨어 개발을 확대하고 출시량을 20배 늘린 CodeRabbit

CodeRabbit⁠(새 창에서 열기)의 공동 창립자 겸 CEO 하르조트 길은 AI가 생성하는 코드가 늘어날수록, 이를 검증하고 신뢰할 수 있는지 판단하는 과정에서 팀의 역할이 더욱 중요해지고 있다고 봅니다. 하르조트는 “모든 기업이 코딩 에이전트를 도입하자마자 처음 마주하는 병목은 코드 리뷰입니다”라고 말합니다.

CodeRabbit은 AI가 생성한 코드를 검증하고 신뢰성을 확보하기 위한 AI 기반 거버넌스 및 제어 플랫폼을 구축했습니다. 20,000곳 이상의 조직과 150,000개 이상의 오픈 소스 프로젝트가 사용하는 CodeRabbit은 팀이 AI 에이전트가 생성한 코드를 이해하고, 검토하고, 보안을 강화하며, 무엇을 출시할 준비가 되었는지 판단하도록 돕습니다.

CodeRabbit에 따르면 OpenAI의 향상된 가격 대비 성능 덕분에 리뷰에 더 많은 AI 에이전트를 투입하고 그 혜택을 고객에게 제공할 수 있게 되었습니다. 또한 Codex⁠를 활용해 동일한 엔지니어링 팀으로 소프트웨어 출시량을 20배 늘리고 있습니다. CodeRabbit은 Daybreak⁠로 자체 기술 스택과 고객 코드의 보안도 강화합니다. 최신 제품인 CodeRabbit Secure는 Daybreak와 Codex 모델을 함께 활용해 보안에 특화된 에이전트로 취약점을 찾고 수정합니다.

CodeRabbit은 GPT‑3.5 Turbo로 첫 제품을 개발했습니다. 하르조트는 GPT‑4의 등장으로 제품이 효과적인 코드 리뷰 능력을 갖추게 되었다고 말합니다. 이후 CodeRabbit은 OpenAI o1과 OpenAI o3도 일찍 도입했습니다. 코드 리뷰는 클라우드에서 비동기적으로 실행되므로, CodeRabbit은 문제 추론에 시간이 더 걸리더라도 분석 능력이 더 뛰어난 모델을 사용할 수 있었습니다.

팀은 이미 파악된 문제들로 구성한 자체 벤치마크를 통해 새 모델을 평가합니다. 인터뷰 당시 하르조트의 추산에 따르면, GPT‑6 Astra⁠는 해당 데이터셋에 있는 문제의 50%를 발견해 이 벤치마크에서 다른 모델보다 높은 성능을 보였습니다.

에이전트가 새로운 유형의 실수를 하고, 수정 과정에서 이전 리뷰가 놓쳤던 문제가 드러남에 따라 벤치마크도 계속 진화합니다. 하르조트는 “버그의 양상은 계속 바뀝니다. 모델이 더 좋아질수록 우리의 벤치마크도 함께 진화하죠”라고 말합니다.

OpenAI 모델의 가격 대비 성능 향상은 CodeRabbit이 연구 단계의 기능을 제품에 적용하는 데 도움이 되었습니다. 하르조트는 모델 가격과 캐싱의 개선 덕분에 AI 활용을 늘리고, 더 많은 하위 에이전트를 추가하고, 그 혜택을 고객에게 제공할 수 있게 되었다고 설명합니다.

초창기 CodeRabbit은 코드 탐색에 하위 에이전트 한두 개를 사용했습니다. 이제 GPT‑6 Luna 같은 저비용 모델이 플랫폼 전반에서 더 많은 하위 에이전트를 지원하고, GPT‑6 Astra 같은 모델은 계획 수립과 오케스트레이션을 담당합니다.

하르조트는 “이제는 과거에 비용 때문에 엄두도 내지 못했던 용도까지 곳곳에서 에이전트를 활용하고 있습니다”라고 말합니다. 덕분에 CodeRabbit이 수행할 수 있는 검증의 범위와 개발자에게 제공할 수 있는 설명이 확대되어, 개발자가 직접 작성하지 않은 변경 사항도 이해하고 신뢰할 수 있게 됩니다.

하르조트에 따르면 CodeRabbit은 Codex를 활용해 지난 6개월 동안 엔지니어를 추가로 채용하지 않고도 소프트웨어 출시량을 약 20배 늘렸습니다. 그는 인터뷰 전 30일 동안 자신이 직접 제출한 pull request가 2,500~3,000건에 달할 것으로 추산합니다.

이런 성과를 내기 위해서는 Codex 도입만으로는 부족했습니다. 여러 에이전트를 실행하자 노트북 메모리와 연산 성능부터 테스트, 소프트웨어 컴파일·패키징 도구, 의존성에 이르기까지 개발 과정 전반의 제약이 드러났습니다.

팀은 릴리스 절차를 간소화하고 어느 단계에서 사람의 승인이 필요한지 재검토했습니다. 한편 사람의 개입이 필요 없는 저위험 변경 사항은 CodeRabbit으로 자동 배포했습니다. 하르조트는 “소프트웨어를 제공하는 과정 전체를 근본적으로 다시 생각해야 했습니다”라고 말합니다.

CodeRabbit은 프로덕션 환경의 장애, Slack 메시지, 지원 티켓을 분류하고 우선순위를 정하는 Codex 기반 Slack 봇도 구축했습니다. 이 봇은 팀이 검토하고 병합할 수 있는 pull request를 생성해 줍니다. 하르조트는 클라우드 기반 개발이 로컬 컴퓨터의 제약을 줄이고 팀의 접근 제어 및 감사 역량을 강화하는 방법이라고 봅니다.

CodeRabbit은 엔지니어링을 넘어 마케팅과 운영 업무를 코드로 관리하는 데도 Codex를 활용합니다. 하르조트는 “가능한 한 많은 회사 업무를 코드로 운영하고 있습니다”라고 말합니다.

마케팅 부문에서는 pull request로 Google Ads를 관리합니다. 팀은 요청을 생성하고 병합해 광고를 배포합니다. 또한 Codex가 슬라이드 자료와 고객용 문서를 만드는 콘텐츠 스튜디오 리포지터리를 사용합니다. 하르조트는 “마케팅 과제를 코드로 해결할 수 있는 문제로 바꾸면 업무 속도를 10배 높일 수 있습니다”라고 말합니다.

CodeRabbit은 2023년부터 샌드박스 환경에서 에이전트를 실행해 왔습니다. 리포지터리를 복제하고 에이전트가 리뷰에 도움이 되는 코드를 작성하도록 했습니다. 최근에는 Daybreak를 통해 OpenAI의 Cyber 모델을 사용해 자체 플랫폼을 테스트하고 보안을 강화했습니다.

팀은 이 모델로 내부 침투 테스트를 수행하며 공격자가 자체 플랫폼에 침입할 수 있는 경로를 탐색했습니다. 하르조트는 모델을 조기에 사용할 수 있었던 것이 CodeRabbit의 자체 기술 스택 보안 강화에 도움이 되었다고 말합니다. 하르조트는 “여러 취약점을 발견했습니다. 가능하리라고는 상상조차 못 했던 고도화된 해킹 수법들이었죠”라고 말합니다.

이후 CodeRabbit은 이러한 역량을 상용화하여 최신 제품인 CodeRabbit Secure로 고객의 코드 보안 강화를 돕고 있습니다. 지난 2주간 CodeRabbit은 사용자에게 100만 달러 상당의 심층 스캔을 무료로 제공하는 프로모션을 진행했습니다. 모두 Codex 모델로 수행한 13,000건의 심층 스캔에서 보안 취약점 43,000개 이상을 발견했습니다. 고객들은 이미 이 중 수천 개의 취약점을 수정해 코드 보안을 개선했습니다.

사람이 매번 작업을 시작하지 않아도 백그라운드 에이전트가 알림과 장애에 대응하기 시작하면서, 어떤 변경 사항을 최종 반영할지 결정하는 데 더 많은 도움이 필요해질 것이라고 하르조트는 예상합니다.

CodeRabbit은 앞으로 에이전트 기반 소프트웨어 개발로 영역을 확장하고 있습니다. 팀이 에이전트가 생성한 코드 변경 사항을 대규모로 검토하고, 우선순위를 정하고, 설명하고, 보안을 강화하고, 검증하도록 돕는 것입니다.

에이전트가 개발 작업을 더 많이 맡더라도 개발자가 통제권을 유지할 수 있도록 지원하는 것이 핵심입니다. 이를 위해 코드 생성 속도에 맞춰 검증과 설명, 유지보수가 이루어져야 합니다.