CodeRabbit amplia o uso de agentes e lança 20x mais software

Para Harjot Gill, cofundador e CEO da CodeRabbit⁠(abre numa nova janela), é cada vez mais na validação do código gerado por agentes e na avaliação da sua fiabilidade que as equipas aplicam o seu discernimento a um volume crescente de trabalho produzido por IA. «O primeiro estrangulamento com que qualquer empresa se depara assim que adota agentes de programação é a revisão de código», afirma Harjot.

A CodeRabbit criou uma plataforma de governação e controlo baseada em IA, concebida para validar o código gerado por IA e garantir a sua fiabilidade. Utilizada por mais de 20 000 organizações e mais de 150 000 projetos de código aberto, a CodeRabbit ajuda as equipas a compreender, rever e proteger o código produzido por agentes de IA e a decidir o que está pronto para ser lançado.

Segundo a CodeRabbit, a melhor relação preço-desempenho da OpenAI permite-lhe acrescentar mais agentes de IA às suas revisões e fazer chegar os benefícios aos clientes, enquanto o Codex⁠ a ajuda a lançar 20 vezes mais software com a mesma equipa de engenharia. A empresa também utiliza o Daybreak⁠ para proteger tanto a sua própria infraestrutura tecnológica como o código dos seus clientes. O seu produto mais recente, o CodeRabbit Secure, utiliza o Daybreak com modelos Codex para detetar e corrigir vulnerabilidades através dos seus agentes especializados em segurança.

A CodeRabbit desenvolveu o seu primeiro produto com o GPT‑3.5 Turbo. Harjot afirma que a chegada do GPT‑4 tornou o produto eficaz na revisão de código. A empresa esteve depois entre as primeiras a adotar o OpenAI o1 e o OpenAI o3. Como as revisões de código decorrem de forma assíncrona na nuvem, a CodeRabbit podia utilizar modelos que demoravam mais tempo a raciocinar sobre um problema em troca de uma análise mais capaz.

A equipa avalia os novos modelos com o seu próprio teste de referência, composto por problemas conhecidos. À data da entrevista, Harjot estimava que o GPT‑6 Astra⁠ detetava 50% dos problemas nesse conjunto de dados, o que o colocava à frente dos restantes modelos nesse teste de referência.

O teste de referência continua a evoluir à medida que os agentes introduzem diferentes tipos de erros e as correções revelam problemas que escaparam às revisões anteriores. «A natureza dos erros está em constante evolução, tal como o nosso teste de referência, à medida que os modelos melhoram», afirma Harjot.

A melhor relação preço-desempenho dos modelos da OpenAI tem ajudado a CodeRabbit a incorporar no seu produto capacidades desenvolvidas na investigação. Harjot destaca as melhorias nos preços dos modelos e na utilização da cache, que permitem à empresa usar mais IA, acrescentar mais subagentes e fazer chegar os benefícios aos clientes.

No início, a CodeRabbit utilizava um ou dois subagentes para navegar pelo código. Modelos de menor custo, como o GPT‑6 Luna, permitem agora utilizar mais subagentes em toda a plataforma, enquanto modelos como o GPT‑6 Astra se encarregam do planeamento e da orquestração.

«Agora utilizamos agentes por toda a plataforma, em casos de utilização que antes nem podíamos suportar financeiramente», afirma Harjot. Isto alarga o âmbito da validação que a CodeRabbit pode realizar e das explicações que pode dar aos programadores, ajudando-os a compreender e a confiar em alterações que não foram eles a escrever.

Harjot afirma que, graças ao Codex, a empresa tem lançado cerca de 20 vezes mais software nos últimos 6 meses, sem contratar mais engenheiros. Estima que, só ele, tenha submetido entre 2500 e 3000 pull requests nos 30 dias anteriores à entrevista.

Para chegar a este ponto, foi preciso mais do que adotar o Codex. A execução de vários agentes expôs limitações em todo o processo de desenvolvimento, desde a memória e a capacidade de processamento dos portáteis até aos testes, às ferramentas de compilação e empacotamento de software e às dependências.

A equipa simplificou o processo de lançamento e reavaliou em que etapas era necessária aprovação humana, utilizando a CodeRabbit para lançar automaticamente alterações de baixo risco que não exigiam intervenção humana. «Tivemos mesmo de repensar por completo todo o processo de entrega de software», afirma Harjot.

A empresa também criou um bot para o Slack baseado no Codex que faz a triagem de incidentes em produção, mensagens do Slack e pedidos de apoio. O bot pode devolver um pull request para a equipa rever e integrar. Harjot vê o desenvolvimento na nuvem como uma forma de reduzir as limitações das máquinas locais e dar às equipas maior controlo sobre os acessos e as auditorias.

A CodeRabbit utiliza o Codex para tarefas que vão além da engenharia, incluindo a gestão de tarefas operacionais e de marketing através de código. «Estamos a gerir a empresa através de código tanto quanto possível», afirma Harjot.

No marketing, a empresa gere o Google Ads através de pull requests. A equipa abre e integra um pull request para publicar anúncios. Também utiliza um repositório dedicado à produção de conteúdos, onde o Codex cria apresentações e documentos destinados aos clientes. «Se conseguir transformar os seus problemas de marketing em problemas de código, conseguirá trabalhar 10 vezes mais depressa», afirma Harjot.

Desde 2023, a CodeRabbit executa agentes em ambientes isolados, clonando repositórios e permitindo que os agentes escrevam código para ajudar nas revisões. Mais recentemente, a CodeRabbit utilizou o modelo Cyber da OpenAI através do Daybreak para testar e proteger a sua própria plataforma.

A equipa utilizou o modelo em testes de intrusão internos, procurando na sua própria plataforma formas de um atacante conseguir entrar. Harjot afirma que o acesso antecipado ajudou a CodeRabbit a proteger a sua própria infraestrutura tecnológica. «Encontrámos várias vulnerabilidades, formas sofisticadas de ataque que nem imaginávamos serem possíveis», afirma Harjot.

Desde então, a empresa levou essas capacidades para o mercado, ajudando a proteger o código dos seus clientes com o seu produto mais recente, o CodeRabbit Secure. Nas últimas duas semanas, a empresa realizou uma campanha promocional em que ofereceu aos utilizadores análises aprofundadas no valor de 1 milhão de dólares e detetou mais de 43 000 vulnerabilidades de segurança em 13 000 análises, todas realizadas com modelos Codex. Milhares destas vulnerabilidades já foram corrigidas pelos clientes, contribuindo para melhorar a segurança do seu código.

À medida que os agentes em segundo plano começam a responder a alertas e incidentes sem que uma pessoa tenha de iniciar cada tarefa, Harjot prevê que as equipas precisem de mais ajuda para decidir quais as alterações a levar até ao fim.

A pensar no futuro, a CodeRabbit está a expandir-se para o desenvolvimento de software com agentes, ajudando as equipas a validar, priorizar, explicar, proteger e verificar, em grande escala, alterações ao código geradas por agentes.

A oportunidade está em ajudar os programadores a manter o controlo à medida que os agentes assumem uma maior parte do desenvolvimento, com validação, explicações e manutenção que acompanhem o ritmo de produção do código.