CodeRabbit publica 20 veces más código con Codex sin contratar más ingenieros

Has implantado agentes de código, el número de pull requests se ha multiplicado y, de repente, el equipo se ahoga en revisiones. Según el CEO de CodeRabbit, Harjot Gill, este es el primer cuello de botella con el que choca cualquier empresa tras adoptar agentes. Su startup basa su negocio precisamente en este problema, y hace poco OpenAI publicó un análisis de su caso. Es material de un proveedor, así que conviene leer las cifras con cautela. Aun así, contiene más ideas de ingeniería que un anuncio típico.

El cuello de botella se ha desplazado a la revisión

CodeRabbit desarrolla una plataforma que revisa el código escrito por agentes y ayuda a decidir qué se puede publicar. La usan más de 20 000 organizaciones y más de 150 000 proyectos de código abierto. La primera versión del producto se construyó sobre GPT-3.5 Turbo, se volvió realmente útil con GPT-4, y después el equipo pasó pronto a o1 y o3.

Lo clave: la revisión se ejecuta de forma asíncrona en la nube. No hace falta una respuesta instantánea, por lo que se pueden usar modelos de razonamiento lentos y pagar con tiempo la profundidad del análisis. Si en su caso la revisión también funciona en segundo plano, conviene tener en cuenta este compromiso al elegir modelo.

El equipo prueba los nuevos modelos con su propio conjunto de bugs conocidos. Según la estimación de Gill, GPT-6 Astra detecta en él alrededor del 50 % de los problemas y lidera entre los modelos probados. El conjunto se actualiza constantemente: los agentes cometen nuevos tipos de errores y las correcciones dejan al descubierto lo que antes se pasaba por alto. Un benchmark estático se queda obsoleto rápidamente.

Subagentes baratos y un orquestador caro

Al principio, CodeRabbit tenía uno o dos subagentes para navegar por el código. Ahora modelos baratos como GPT-6 Luna atienden a muchos subagentes en toda la plataforma, mientras que GPT-6 Astra se encarga de la planificación y la orquestación. Tanto los tokens como el almacenamiento en caché se han abaratado. Gill afirma que ahora se pueden colocar agentes donde antes no tenía sentido económico.

Es el esquema habitual de «planificador inteligente más muchos ejecutores baratos». Pero aquí se apoya en una conclusión concreta: la bajada de precios se traduce directamente en una revisión más profunda, y no solo en ahorro.

Sobre seguridad: CodeRabbit ejecuta agentes en sandboxes desde 2023 y, a través del programa Daybreak, el equipo obtuvo acceso al modelo OpenAI Cyber. Lo usaron para pentesting interno y encontraron vulnerabilidades que ellos mismos «no podían imaginar». De ahí nació el producto CodeRabbit Secure. Durante dos semanas de promoción con descuento sobre 1 millón de dólares en escaneos profundos, la empresa halló más de 43 000 vulnerabilidades en 13 000 escaneos. Los clientes ya han cerrado miles de ellas. Eso sí, se trata de una acción de marketing y se desconoce cuántos de los hallazgos son realmente críticos.

Qué llevarse y con qué salvedad

La cifra principal: aproximadamente 20 veces más software publicado en seis meses sin contratar. Gill estimó personalmente que envió entre 2 500 y 3 000 pull requests en 30 días. Es su propia estimación, y el «volumen de software» no equivale a valor para los usuarios.

Más interesante es lo que hubo que cambiar. Varios agentes en paralelo agotaron la memoria de los portátiles, las pruebas, la compilación y las dependencias. El equipo simplificó el proceso de lanzamiento, trasladó parte del desarrollo a la nube para el control de acceso y la auditoría, y decidió dónde hace falta una persona. CodeRabbit fusiona automáticamente los cambios de bajo riesgo, revisándolos con su propio producto. Gill lo llama «una revisión completa de la entrega de software».

También hay un bot de Slack basado en Codex que analiza incidentes, mensajes y tickets de soporte y devuelve un pull request listo. Y el equipo de marketing de la empresa gestiona Google Ads mediante pull requests y guarda presentaciones y documentos en el repositorio. El lema es «dirigir la empresa como código».

Conclusiones prácticas para los equipos:

• Prepare la revisión y la CI para el aumento de PR con antelación, no después.
• Cree su propio benchmark de bugs y actualícelo.
• Separe los riesgos: qué se fusiona automáticamente y qué pasa a una persona.
• Reserve el modelo caro para planificar y el barato para el trabajo masivo.

La limitación es obvia: la empresa vende precisamente la herramienta que elogia, y no hay mediciones independientes. Pero la lógica de fondo, que el cuello de botella se traslada de escribir código a verificarlo, es perfectamente aplicable a su equipo.