CodeRabbit amplia entregas de software em 20x com agentes de IA

Para Harjot Gill, cofundador e CEO da CodeRabbit⁠(abre em uma nova janela), validar e garantir a confiabilidade do código desenvolvido com agentes de IA está se tornando a etapa em que as equipes aplicam seu julgamento a um volume crescente de trabalho gerado por IA. "O primeiro gargalo que toda empresa encontra assim que adota agentes de programação é a revisão de código", diz Harjot.

A CodeRabbit criou uma plataforma de governança e controle baseada em IA, projetada para validar e garantir a confiabilidade do código gerado por IA. Usada por mais de 20 mil organizações e mais de 150 mil projetos de código aberto, a CodeRabbit ajuda equipes a entender, revisar e proteger o código produzido por agentes de IA e a decidir o que está pronto para ser lançado.

Segundo a CodeRabbit, a melhor relação entre preço e desempenho da OpenAI permite adicionar mais agentes de IA às revisões e repassar os benefícios aos clientes, enquanto o Codex⁠ ajuda a entregar 20 vezes mais software com a mesma equipe de engenharia. A empresa também usa o Daybreak⁠ para proteger tanto sua própria infraestrutura tecnológica quanto o código de seus clientes. Seu mais novo produto, o CodeRabbit Secure, usa o Daybreak com modelos Codex para encontrar e corrigir vulnerabilidades por meio de agentes voltados à segurança.

A CodeRabbit criou seu primeiro produto com o GPT‑3.5 Turbo. Harjot afirma que a chegada do GPT‑4 tornou o produto eficaz na revisão de código. Depois, a empresa esteve entre as primeiras a adotar o OpenAI o1 e o OpenAI o3. Como as revisões de código são executadas de forma assíncrona na nuvem, a CodeRabbit pôde usar modelos que levavam mais tempo para raciocinar sobre um problema em troca de análises mais precisas.

A equipe avalia novos modelos usando seu próprio benchmark de problemas conhecidos. Na época da entrevista, Harjot estimava que o GPT‑6 Astra⁠ identificava 50% dos problemas nesse conjunto de dados, o que o colocava à frente dos outros modelos nesse benchmark.

O benchmark continua evoluindo à medida que os agentes introduzem diferentes tipos de erros e que as correções revelam problemas que passaram despercebidos nas revisões anteriores. "A natureza dos bugs está sempre mudando, e nosso benchmark também evolui conforme os modelos melhoram", diz Harjot.

A melhor relação entre preço e desempenho dos modelos da OpenAI tem ajudado a CodeRabbit a incorporar ao produto recursos desenvolvidos na pesquisa. Harjot destaca melhorias nos preços dos modelos e no uso de cache que permitem à empresa usar mais IA, adicionar mais subagentes e repassar os benefícios aos clientes.

No início, a CodeRabbit usava um ou dois subagentes para navegar pelo código. Agora, modelos de menor custo, como o GPT‑6 Luna, permitem usar mais subagentes em toda a plataforma, enquanto modelos como o GPT‑6 Astra cuidam do planejamento e da orquestração.

"Agora usamos agentes por toda parte, em casos de uso que antes nem podíamos bancar", diz Harjot. Isso amplia a validação que a CodeRabbit pode realizar e as explicações que pode oferecer aos desenvolvedores, ajudando-os a entender e confiar em alterações que não escreveram.

Harjot afirma que, com o Codex, a empresa vem entregando cerca de 20 vezes mais software nos últimos seis meses, sem contratar mais engenheiros. Ele estima ter enviado pessoalmente entre 2.500 e 3.000 pull requests nos 30 dias anteriores à entrevista.

Chegar a esse resultado exigiu mais do que adotar o Codex. Executar vários agentes expôs limitações ao longo de todo o processo de desenvolvimento, desde a memória e a capacidade de processamento dos notebooks até os testes, as ferramentas de compilação e empacotamento de software e as dependências.

A equipe simplificou o processo de lançamento e reavaliou em quais etapas eram necessárias aprovações humanas, enquanto usava a CodeRabbit para entregar automaticamente alterações de baixo risco que não precisavam de intervenção humana. "Tivemos que repensar completamente todo o processo de entrega de software", diz Harjot.

A empresa também criou um bot para o Slack baseado no Codex que faz a triagem de incidentes em produção, mensagens do Slack e chamados de suporte. Ele pode gerar um pull request para a equipe revisar e integrar. Harjot vê o desenvolvimento na nuvem como uma forma de reduzir as limitações das máquinas locais e dar às equipes controles mais robustos de acesso e auditoria.

A CodeRabbit usa o Codex para atividades além da engenharia, incluindo a gestão de tarefas de marketing e operações por meio de código. "Estamos gerenciando a empresa por meio de código o máximo possível", diz Harjot.

No marketing, a empresa gerencia o Google Ads por meio de pull requests. A equipe abre e integra um pull request para publicar anúncios. Ela também usa um repositório de produção de conteúdo em que o Codex cria apresentações e documentos para clientes. "Se você conseguir transformar seus problemas de marketing em problemas de código, vai trabalhar 10 vezes mais rápido", diz Harjot.

Desde 2023, a CodeRabbit executa agentes em ambientes isolados, clonando repositórios e permitindo que os agentes escrevam código para ajudar nas revisões. Mais recentemente, a CodeRabbit usou o modelo Cyber da OpenAI por meio do Daybreak para testar e proteger sua própria plataforma.

A equipe usou o modelo em testes internos de invasão, investigando a própria plataforma em busca de possíveis formas de um invasor obter acesso. Harjot afirma que o acesso antecipado ajudou a CodeRabbit a proteger sua própria infraestrutura tecnológica. "Encontramos várias vulnerabilidades, formas sofisticadas de invasão que nem imaginávamos serem possíveis", diz Harjot.

Desde então, a empresa levou esses recursos ao mercado, ajudando a proteger o código de seus clientes com seu mais novo produto, o CodeRabbit Secure. Nas últimas duas semanas, a empresa realizou uma promoção em que custeou US$ 1 milhão em varreduras aprofundadas gratuitas para seus usuários e encontrou mais de 43 mil vulnerabilidades de segurança em 13 mil varreduras, todas realizadas com modelos Codex. Milhares dessas vulnerabilidades já foram corrigidas pelos clientes, ajudando a melhorar a segurança de seu código.

À medida que agentes em segundo plano começam a responder a alertas e incidentes sem que uma pessoa precise iniciar cada tarefa, Harjot prevê que as equipes precisarão de mais ajuda para decidir quais alterações levar adiante até a conclusão.

De olho no futuro, a CodeRabbit está expandindo sua atuação para o desenvolvimento de software com agentes de IA, ajudando equipes a validar, priorizar, explicar, proteger e verificar alterações de código geradas por agentes em escala.

A oportunidade está em ajudar os desenvolvedores a manter o controle enquanto os agentes assumem uma parcela maior do desenvolvimento, com validação, explicações e manutenção que acompanhem o ritmo de produção do código.