Cognition lanza Devin Oncall: 100% en SREGym y arreglo de producción en 2 min 21 s

Cognition ha abierto la disponibilidad general de Devin Oncall, un agente en la nube para guardias que analiza por sí solo alertas e informes de bugs, diagnostica fallos en producción e intenta resolverlos. Según la compañía, en el benchmark SREGym logró 100% de éxito de extremo a extremo, con un mejor tiempo hasta la resolución del problema de 2 minutos y 21 segundos. En explotación real, el sistema ya procesa miles de alertas al día para grandes clientes.

Benchmark: qué se midió exactamente

SREGym evalúa a los agentes con fallos típicos en sistemas en vivo. Cada prueba parte de un incidente real, y en una sola ejecución el agente debe encontrar la causa raíz y aplicar una mitigación que funcione. Según los gráficos de Cognition, Devin Oncall con GPT-6 Astra y Claude Opus 5.5 llegó a 100%, con GPT-6.1 Sol obtuvo 94,1% y con Claude Fable 5.1 alcanzó 85,3%. Como comparación: Claude Code con Sonnet 5 sumó 45,1%, Codex con GPT-5.6 Sol 76,5%, y CloudThinker con Opus 5 también 76,5%.

Hay una salvedad importante. La propia Cognition admite que los modelos de nivel medio ya han tocado techo en este conjunto, más «limpio», y que la generación anterior daba entre 50–60%. El benchmark está saturado, y un 100% en él no garantiza el mismo resultado en un sistema legacy enrevesado. La compañía escribe explícitamente que los agentes siguen deteniéndose en la primera causa verosímil.

Cómo funciona el agente

La filosofía se apoya en la «lección amarga» (bitter lesson): en lugar de prompts largos y muy ajustados, arquitecturas basadas en grafos y modelos SRE con fine-tuning, la apuesta es un agente de programación potente con el contexto y las herramientas adecuados. Los autores, entre los que se menciona a exmiembros de TierZero, afirman que los trucos anteriores dejan de funcionar a medida que crecen los modelos y hay que ir eliminándolos. La arquitectura de Devin no está atada a un único modelo, así que para cada tarea de guardia se puede elegir el mejor.

Contra las conclusiones prematuras actúa un segundo agente revisor. De forma asíncrona, comprueba el razonamiento y las llamadas a herramientas del agente principal y detecta errores típicos: correlación en lugar de causalidad, telemetría contradictoria ignorada, confusión entre el desencadenante y la causa raíz. Según la lógica del sistema, un despliegue reciente es una pista, no una explicación.

El contexto se compone de tres capas:

• Per-Responder Memory: memoria de cada responder, por ejemplo a quién mencionar y cómo comportarse en investigaciones posteriores.
• Per-Org Skills: habilidades que Devin genera al indexar el entorno de forma periódica. Un ejemplo: el cálculo del radio de impacto para los clientes.
• Per-Org Memory: posprocesamiento de cada investigación y una «caché de baja precisión» del conocimiento institucional.

El producto tiene dos modalidades. Responders vigila el flujo de alertas o informes de bugs. Un agente padre oculto decide si el problema es nuevo y, en ese caso, lanza una investigación hija con contexto limpio. Así se omite alrededor de 60% de las investigaciones (en la ilustración, 65 de 100 alertas) y el coste baja a 46% del modo «investigarlo todo», es decir, un ahorro de 54%. Incidents se conecta al canal del incidente, mantiene un documento vivo con la cronología y las evidencias, y delega las preguntas directas de los ingenieros en agentes hijos mientras el padre continúa la investigación en segundo plano. Los mensajes se filtran previamente.

Clientes y cifras

• Reducto: Devin detectó una tendencia en varias alertas y abrió el incidente por su cuenta, antes de que saltaran las alertas de producción. Ahora es el primero en analizar la mayoría de las alertas; a veces cierra problemas de gravedad media o prepara y prueba un PR antes de que se avise a un ingeniero.
• RV Tech (joint venture de Rivian y Volkswagen): el agente extrae identificadores de vehículos y horas de las solicitudes, recupera logs, ejecuta parsers y hace el triaje. Un equipo pudo devolver a varios ingenieros al trabajo de producto.
• AngelList: encuentra la causa raíz 3,5 veces más a menudo que el sistema interno Sky; 50% de los incidentes se cierran de forma totalmente autónoma. Sky fue dado de baja.

Conviene tener en cuenta que todas las cifras proceden del blog del proveedor y no hay verificación independiente.

Conclusión práctica para los equipos: lo más sensato es empezar con Responders en un único canal de alertas ruidoso y medir la proporción de duplicados omitidos y la precisión de las causas raíz. La integración con observabilidad (en los testimonios se menciona Datadog MCP) y con el trazado de código influirá más en la calidad del diagnóstico que la elección del modelo. Los permisos de acción en producción conviene limitarlos a mitigaciones como el rollback y el escalado, tal como recomienda la propia Cognition, y cualquier cambio de código debería pasar por revisión humana.