CodeRabbit escala el desarrollo con agentes y lanza 20 veces más

Para Harjot Gill, cofundador y CEO de CodeRabbit⁠(se abre en una nueva ventana), validar el código generado por agentes y determinar si es confiable se está convirtiendo en el punto donde los equipos aplican su criterio ante un volumen creciente de trabajo generado por IA. “El primer cuello de botella con el que se encuentra cualquier empresa en cuanto adopta agentes de programación es la revisión de código”, dice Harjot.

CodeRabbit creó una plataforma de gobernanza y control impulsada por IA, diseñada para validar el código generado por IA y permitir confiar en él. Más de 20 000 organizaciones y más de 150 000 proyectos de código abierto usan CodeRabbit, que ayuda a los equipos a comprender, revisar y proteger el código producido por agentes de IA y a decidir qué está listo para publicarse.

Según CodeRabbit, la mejor relación entre precio y rendimiento que ofrece OpenAI le permite incorporar más agentes de IA a sus revisiones y trasladar esos beneficios a sus clientes, mientras que Codex⁠ le ayuda a entregar 20 veces más software con el mismo equipo de ingeniería. La empresa también usa Daybreak⁠ para proteger tanto su propia infraestructura tecnológica como el código de sus clientes. Su producto más reciente, CodeRabbit Secure, usa Daybreak con modelos de Codex para detectar y corregir vulnerabilidades mediante sus agentes especializados en seguridad.

CodeRabbit creó su primer producto con GPT‑3.5 Turbo. Harjot afirma que la llegada de GPT‑4 hizo que el producto fuera eficaz para revisar código. Después, la empresa adoptó OpenAI o1 y OpenAI o3 de forma temprana. Como las revisiones de código se ejecutan de forma asíncrona en la nube, CodeRabbit podía usar modelos que dedicaran más tiempo a razonar sobre un problema a cambio de un análisis más sólido.

El equipo evalúa los modelos nuevos con su propia prueba de referencia basada en problemas conocidos. En el momento de la entrevista, Harjot estimaba que GPT‑6 Astra⁠ detectaba el 50 % de los problemas de ese conjunto de datos, lo que lo situaba por encima de los demás modelos en esa prueba de referencia.

La prueba de referencia sigue evolucionando a medida que los agentes introducen distintos tipos de errores y las correcciones revelan problemas que las revisiones anteriores pasaron por alto. “La naturaleza de los errores sigue evolucionando, y nuestra prueba de referencia también, a medida que mejoran los modelos”, dice Harjot.

La mejor relación entre precio y rendimiento de los modelos de OpenAI ha ayudado a CodeRabbit a llevar capacidades de la etapa de investigación a su producto. Harjot destaca las mejoras en los precios de los modelos y el almacenamiento en caché, que permiten a la empresa usar más IA, incorporar más subagentes y trasladar los beneficios a sus clientes.

En sus inicios, CodeRabbit usaba uno o dos subagentes para explorar el código. Ahora, los modelos de menor costo, como GPT‑6 Luna, permiten usar más subagentes en toda la plataforma, mientras que modelos como GPT‑6 Astra se encargan de la planificación y la orquestación.

“Ahora usamos agentes en todas partes, en casos de uso que antes ni siquiera podíamos costear”, dice Harjot. Esto amplía las validaciones que CodeRabbit puede realizar y las explicaciones que puede ofrecer a los desarrolladores, lo que les ayuda a comprender los cambios que no escribieron ellos mismos y a confiar en ellos.

Harjot afirma que, gracias a Codex, la empresa ha entregado aproximadamente 20 veces más software durante los últimos 6 meses sin incorporar más ingenieros. Él calcula que envió personalmente entre 2500 y 3000 pull requests en los 30 días previos a la entrevista.

Para llegar a ese punto, no bastó con adoptar Codex. Ejecutar varios agentes puso en evidencia limitaciones en todo el proceso de desarrollo, desde la memoria y la capacidad de cómputo de las laptops hasta las pruebas, las herramientas de compilación y empaquetado de software, y las dependencias.

El equipo agilizó su proceso de publicación y reconsideró en qué etapas se requería aprobación humana, al tiempo que usaba CodeRabbit para publicar automáticamente cambios de bajo riesgo que no necesitaban intervención humana. “Tuvimos que replantear por completo todo el proceso de entrega de software”, dice Harjot.

La empresa también creó un bot de Slack con tecnología de Codex que clasifica y prioriza incidentes en producción, mensajes de Slack y tickets de soporte. Puede generar una pull request para que el equipo la revise e integre. Harjot considera que el desarrollo en la nube permite reducir las limitaciones de los equipos locales y ofrecer a los equipos de trabajo controles de acceso y auditoría más sólidos.

CodeRabbit usa Codex para tareas que van más allá de la ingeniería, incluida la gestión de actividades de marketing y operaciones mediante código. “Estamos gestionando la empresa mediante código en la mayor medida posible”, dice Harjot.

En marketing, la empresa gestiona Google Ads mediante pull requests. El equipo abre e integra una solicitud para publicar anuncios. También usa un repositorio de creación de contenido donde Codex genera presentaciones y documentos para clientes. “Si puedes convertir tus problemas de marketing en problemas de código, avanzarás 10 veces más rápido”, dice Harjot.

Desde 2023, CodeRabbit ejecuta agentes en entornos aislados, clona repositorios y permite que los agentes escriban código para ayudar con las revisiones. Más recientemente, CodeRabbit usó el modelo Cyber de OpenAI a través de Daybreak para poner a prueba y proteger su propia plataforma.

El equipo usó el modelo para realizar pruebas de penetración internas y explorar posibles vías de entrada para un atacante en su propia plataforma. Harjot afirma que el acceso anticipado ayudó a CodeRabbit a proteger su propia infraestructura tecnológica. “Encontramos múltiples vulnerabilidades, formas de ataque avanzadas que ni siquiera imaginábamos posibles”, dice Harjot.

Desde entonces, la empresa llevó esas capacidades al mercado y ayuda a proteger el código de sus clientes con su producto más reciente, CodeRabbit Secure. Durante las últimas dos semanas, la empresa ofreció una promoción en la que cubrió un millón de dólares en análisis profundos gratuitos para sus usuarios y detectó más de 43 000 vulnerabilidades de seguridad en 13 000 análisis profundos, todos realizados con modelos de Codex. Sus clientes ya corrigieron miles de estas vulnerabilidades, lo que contribuye a mejorar la seguridad de su código.

A medida que los agentes en segundo plano comiencen a responder a alertas e incidentes sin que una persona inicie cada tarea, Harjot prevé que los equipos necesitarán más ayuda para decidir qué cambios llevar hasta el final.

De cara al futuro, CodeRabbit está expandiéndose hacia el desarrollo de software con agentes para ayudar a los equipos a validar, priorizar, explicar, proteger y verificar a gran escala los cambios de código generados por agentes.

La oportunidad está en ayudar a los desarrolladores a mantener el control mientras los agentes asumen más tareas de desarrollo, con validaciones, explicaciones y mantenimiento que sigan el ritmo de producción del código.