CodeRabbit amplía el desarrollo con agentes y lanza 20 veces más

Para Harjot Gill, cofundador y CEO de CodeRabbit⁠(se abre en una ventana nueva), validar el código generado por agentes y determinar si es fiable se está convirtiendo en la tarea en la que los equipos aportan su criterio ante un volumen creciente de trabajo generado por IA. «En cuanto adoptas agentes de programación, el primer cuello de botella con el que te encuentras en cualquier empresa son las revisiones de código», afirma Harjot.

CodeRabbit creó una plataforma de gobernanza y control basada en IA, diseñada para validar el código generado por IA y determinar su fiabilidad. Más de 20 000 organizaciones y 150 000 proyectos de código abierto utilizan CodeRabbit, que ayuda a los equipos a comprender, revisar y proteger el código producido por agentes de IA y a decidir qué está listo para su lanzamiento.

Según CodeRabbit, la mejora de la relación entre precio y rendimiento de OpenAI le permite incorporar más agentes de IA a sus revisiones y trasladar las ventajas a sus clientes. Además, Codex⁠ le ayuda a entregar 20 veces más software con el mismo equipo de ingeniería. La empresa también utiliza Daybreak⁠ para proteger tanto su propia infraestructura tecnológica como el código de sus clientes. Su producto más reciente, CodeRabbit Secure, utiliza Daybreak con modelos de Codex para detectar y corregir vulnerabilidades mediante sus agentes especializados en seguridad.

CodeRabbit creó su primer producto con GPT‑3.5 Turbo. Harjot afirma que la llegada de GPT‑4 hizo que el producto resultara eficaz para revisar código. Más adelante, la empresa fue de las primeras en adoptar OpenAI o1 y OpenAI o3. Como las revisiones de código se ejecutan de forma asíncrona en la nube, CodeRabbit podía utilizar modelos que tardaban más en razonar sobre un problema a cambio de un análisis más potente.

El equipo evalúa los nuevos modelos con su propia prueba de referencia basada en problemas conocidos. En el momento de la entrevista, Harjot estimaba que GPT‑6 Astra⁠ detectaba el 50 % de los problemas de ese conjunto de datos, lo que lo situaba a la cabeza de los modelos evaluados en esa prueba.

La prueba de referencia sigue evolucionando a medida que los agentes introducen distintos tipos de errores y las correcciones revelan problemas que habían pasado inadvertidos en revisiones anteriores. «La naturaleza de los errores sigue evolucionando, al igual que nuestra prueba de referencia, a medida que mejoran los modelos», afirma Harjot.

La mejora de la relación entre precio y rendimiento de los modelos de OpenAI ha ayudado a CodeRabbit a trasladar capacidades de la investigación a su producto. Harjot destaca las mejoras en los precios de los modelos y en el almacenamiento en caché, que permiten a la empresa utilizar más IA, incorporar más subagentes y trasladar las ventajas a sus clientes.

En sus inicios, CodeRabbit utilizaba uno o dos subagentes para navegar por el código. Ahora, modelos de menor coste como GPT‑6 Luna permiten utilizar más subagentes en toda la plataforma, mientras que modelos como GPT‑6 Astra se encargan de la planificación y la orquestación.

«Ahora utilizamos agentes por todas partes, en casos de uso que antes ni siquiera podíamos permitirnos», afirma Harjot. Esto amplía las validaciones que CodeRabbit puede realizar y las explicaciones que puede ofrecer a los desarrolladores, lo que les ayuda a comprender los cambios que no han escrito ellos mismos y a confiar en ellos.

Harjot afirma que, gracias a Codex, la empresa ha entregado aproximadamente 20 veces más software durante los últimos seis meses sin ampliar el equipo de ingeniería. Calcula que él mismo envió entre 2500 y 3000 pull requests en los 30 días anteriores a la entrevista.

Para llegar a ese punto, no bastó con adoptar Codex. La ejecución de múltiples agentes puso de manifiesto limitaciones en todo el proceso de desarrollo: desde la memoria y la capacidad de cómputo de los portátiles hasta las pruebas, las herramientas de compilación y empaquetado de software y las dependencias.

El equipo agilizó su proceso de lanzamiento y reconsideró en qué puntos era necesaria la aprobación humana, mientras utilizaba CodeRabbit para entregar automáticamente cambios de bajo riesgo que no requerían intervención humana. «Tuvimos que replantearnos por completo todo el proceso de entrega de software», afirma Harjot.

La empresa también ha creado un bot de Slack basado en Codex que clasifica y prioriza incidentes en producción, mensajes de Slack y solicitudes de asistencia. Puede generar una pull request para que el equipo la revise y la fusione. Harjot considera que el desarrollo en la nube permite reducir las limitaciones de los equipos locales y ofrecer a los equipos de trabajo controles de acceso y auditoría más sólidos.

CodeRabbit utiliza Codex para tareas que van más allá de la ingeniería, como la gestión de actividades de marketing y operaciones mediante código. «Gestionamos la empresa mediante código en la medida de lo posible», afirma Harjot.

En marketing, la empresa gestiona Google Ads mediante pull requests. El equipo abre y fusiona una solicitud para publicar anuncios. También utiliza un repositorio de creación de contenidos donde Codex genera presentaciones y documentos para clientes. «Si puedes convertir tus problemas de marketing en problemas de código, avanzarás diez veces más rápido», afirma Harjot.

Desde 2023, CodeRabbit ejecuta agentes en entornos aislados, clona repositorios y permite que los agentes escriban código para ayudar en las revisiones. Más recientemente, CodeRabbit utilizó el modelo Cyber de OpenAI a través de Daybreak para poner a prueba y proteger su propia plataforma.

El equipo utilizó el modelo para realizar pruebas de penetración internas y explorar posibles vías de entrada para un atacante en su propia plataforma. Harjot afirma que el acceso anticipado ayudó a CodeRabbit a proteger su propia infraestructura tecnológica. «Encontramos múltiples vulnerabilidades, formas de ataque avanzadas que ni siquiera imaginábamos posibles», afirma Harjot.

Desde entonces, la empresa ha llevado esas capacidades al mercado y ayuda a proteger el código de sus clientes con su producto más reciente, CodeRabbit Secure. Durante las últimas dos semanas, la empresa lanzó una promoción en la que ofreció a sus usuarios análisis exhaustivos gratuitos por valor de un millón de dólares. En total, detectó más de 43 000 vulnerabilidades de seguridad en 13 000 análisis exhaustivos, todos realizados con modelos de Codex. Sus clientes ya han corregido miles de estas vulnerabilidades, lo que ha contribuido a mejorar la seguridad de su código.

A medida que los agentes en segundo plano empiezan a responder a alertas e incidentes sin que una persona inicie cada tarea, Harjot prevé que los equipos necesitarán más ayuda para decidir qué cambios llevar a término.

De cara al futuro, CodeRabbit está ampliando su actividad hacia el desarrollo de software con agentes para ayudar a los equipos a validar, priorizar, explicar, proteger y verificar a gran escala los cambios de código generados por agentes.

La oportunidad consiste en ayudar a los desarrolladores a mantener el control a medida que los agentes asumen más tareas de desarrollo, con validaciones, explicaciones y un mantenimiento que sigan el ritmo de producción del código.