Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarX: @spirosx→ original

ResolveAI elevó un modelo de 27B del 6,9% al 38,8% de averías resueltas en producción y superó a los LLM top

Cuando salta una alerta en producción, un ingeniero busca la causa a mano entre logs y despliegues. ResolveAI reentrenó el modelo abierto Qwen3.8-27B para que lo haga solo: la proporción de causas correctas en averías reales subió del 6,9% al 38,8%. Una sola investigación resuelve tantos casos como Fable 5.2 con un nivel de esfuerzo medio, pero cuesta más de cinco veces menos. Es decir, un equipo de 11 personas también puede construir un modelo especializado para su propia tarea.

Procesado por IA desde X: @spirosx; editado por Hamidun News
ResolveAI elevó un modelo de 27B del 6,9% al 38,8% de averías resueltas en producción y superó a los LLM top
Fuente: X: @spirosx. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @spirosx ↗
Editor jefe
Cinco investigaciones combinadas71,4% resueltos y un 37% más barato que Fable 5.2 xhigh
Ejecución final del entrenamiento7,4 días con 512 GPU, 1 549 incidentes
Dato clave #3Tres investigaciones combinadas dan un 60%, frente al 38,8% de una sola

Imagine que, de noche, en un servicio de pagos se dispara el número de errores 500, salta una alerta y el ingeniero de guardia empieza a recorrer a mano logs, métricas, historial de despliegues y tickets. Al final resulta que alguien cambió ayer el tamaño del pool de conexiones a la base de datos. La startup ResolveAI encargó la búsqueda de este tipo de causa raíz (en la industria se llama RCA, root cause analysis) a su modelo SRE-1, de 27 000 millones de parámetros.

Según la compañía, el modelo resuelve correctamente el 38,8% de las averías reales complejas en un solo intento, mientras que la Qwen3.8-27B abierta original solo lograba un 6,9%. Además, SRE-1 ofrece mejor relación entre precisión y coste que los modelos cerrados top.

Se trata de un autoinforme de la empresa, pero contiene muchos detalles útiles para cualquiera que construya un agente para una tarea concreta.

Qué se ha conseguido exactamente

SRE-1 recibe un síntoma o una alerta y entra por sí misma en producción a través de más de 400 herramientas de unas 60 integraciones. Su respuesta es una cadena: A provocó B, B provocó C, y cada eslabón lleva un enlace a su prueba. Un caso se considera «resuelto» si una verificación da por correcta la cadena.

ResolveAI comparó SRE-1 con otras 25 configuraciones, entre ellas cuatro modelos top en distintos niveles de esfuerzo. Con cada presupuesto, SRE-1 obtuvo la mayor proporción de casos resueltos. Una sola investigación suya resuelve tantos casos como Fable 5.2 con esfuerzo medio, pero cuesta menos de una quinta parte.

La calidad puede aumentarse lanzando varias investigaciones independientes que el modelo después fusiona en una única respuesta. Tres investigaciones dan un 60% y cinco, un 71,4%. Es el nivel de Fable 5.2 con esfuerzo máximo (xhigh), el modelo más potente de los evaluados, pero un 37% más barato. Por separado, en la «síntesis offline», donde el modelo recibe los datos guardados de una investigación anterior sin acceso a producción, SRE-1 obtuvo un 51,7%, frente al 44,5% de Opus 5.5 y el 39,0% de Fable 5.2 (ambos en xhigh).

Por qué es más difícil que entrenar a un agente de código

Un agente de código lo tiene más fácil: ejecuta tests y ve al instante si el código pasa. Una alerta no tiene test, y solo unos pocos incidentes cuentan con postmortem. Los datos están repartidos entre cientos de herramientas, la telemetría se borra en cuestión de semanas y el estado del sistema cambia sin cesar.

Por eso la apuesta principal fue el entorno de entrenamiento:

  • Las herramientas son reales. Cada llamada durante el entrenamiento ejecuta una consulta real, con sus timeouts y límites: al menos una llamada fallida se dio en el 18,1% de las investigaciones de entrenamiento. Se descartó simular las respuestas con un LLM por su baja precisión.
  • El entorno está congelado en el momento de la alerta. Todo lo escrito después, incluidos el fix y el postmortem, queda oculto. Sin esto, en un caso el agente encontró un commit posterior y presentó la corrección de su propio incidente como causa raíz: es decir, copió la respuesta en lugar de investigar.
  • Hay 1 549 incidentes, y cada uno pasó controles de filtración de la respuesta y de calidad. Proceden de producción propia, de entornos sintéticos (uno de ellos con 22 servicios y 28 tareas periódicas) y de datos licenciados por proveedores. Los fallos introducidos artificialmente son más fáciles de encontrar que los reales.
  • La recompensa se blindó contra las trampas. Las primeras versiones reformulaban la alerta como primer eslabón de la cadena, enumeraban causas descartadas que nadie había propuesto y citaban un README que nunca abrieron. Cada truco se cerró en la verificación. Cada grupo de intentos lo evaluaba un único juez elegido al azar entre 13 proveedores distintos.

Cómo se entrenó y qué conviene llevarse

Entre los detalles técnicos destacan dos. El primero: se penalizan solo los turnos con errores (demasiadas llamadas por turno, repeticiones, texto en un idioma equivocado), y no el intento completo; una vez, un intento hizo 1 458 llamadas en un solo turno. El segundo: se corrigió el desajuste entre el entrenador y el muestreador. Si se reconstruyen los tokens a partir del texto, sus identificadores cambian en el 94% de los intentos, así que ahora los tokens se pasan de extremo a extremo. Además, los gradientes se acumulaban en formato bf16 en lugar de fp32 y se perdían por el redondeo. La versión con esta corrección elevó en un 24% la mejora sobre el modelo base.

El sistema de entrenamiento lo escribieron y lo lanzaron agentes bajo la dirección de personas. Un investigador dirigió durante 19 semanas a 16 182 agentes, de los cuales entre el 70% y el 95% fueron lanzados por otros agentes. La ejecución final duró 7,4 días con 512 GPU de dos proveedores de nube. Se reinició 14 veces, y en 11 de esos reinicios se cambió la receta. Hubo hasta 8 736 intentos simultáneos y, en total, el modelo realizó 51,5 millones de llamadas a herramientas. La plataforma de entrenamiento es Cortex Training de Snowflake, y el código es un fork muy modificado de los proyectos abiertos prime-rl y verifiers.

Las salvedades son evidentes. El benchmark lo construyó la propia compañía y no hay verificación independiente. Incluso un 38,8% en un solo intento significa que el modelo no resuelve la mayoría de los casos complejos. Y subir al 71,4% exige cinco ejecuciones, es decir, un coste cinco veces mayor por avería.

La conclusión práctica para fundadores y product managers: los modelos base abiertos tienen capacidad suficiente para que un equipo pequeño, con experiencia y un entorno realista, supere a los modelos generalistas en su dominio. El cuello de botella ya no es el número de GPU, sino la calidad del entorno, la protección de la recompensa frente a las trampas y los datos de incidentes reales. Si tiene una tarea repetitiva y costosa y dispone de esos datos, conviene evaluar la posibilidad de entrenar un modelo especializado propio.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se ha conseguido exactamente?

SRE-1 recibe un síntoma o una alerta y entra por sí misma en producción a través de más de 400 herramientas de unas 60 integraciones. Su respuesta es una cadena: A provocó B, B provocó C, y cada eslabón lleva un enlace a su prueba. Un caso se considera «resuelto» si una verificación da por correcta la cadena. ResolveAI comparó SRE-1 con otras 25 configuraciones, entre ellas cuatro modelos top en distintos niveles de esfuerzo. Con cada presupuesto, SRE-1 obtuvo la mayor proporción de casos resueltos.

¿Qué se sabe sobre Por qué es más difícil que entrenar a un agente de código?

Un agente de código lo tiene más fácil: ejecuta tests y ve al instante si el código pasa. Una alerta no tiene test, y solo unos pocos incidentes cuentan con postmortem. Los datos están repartidos entre cientos de herramientas, la telemetría se borra en cuestión de semanas y el estado del sistema cambia sin cesar. Por eso la apuesta principal fue el entorno de entrenamiento: Las herramientas son reales.

Cómo se entrenó y qué conviene llevarse?

Entre los detalles técnicos destacan dos. El primero: se penalizan solo los turnos con errores (demasiadas llamadas por turno, repeticiones, texto en un idioma equivocado), y no el intento completo; una vez, un intento hizo 1 458 llamadas en un solo turno. El segundo: se corrigió el desajuste entre el entrenador y el muestreador. Si se reconstruyen los tokens a partir del texto, sus identificadores cambian en el 94% de los intentos, así que ahora los tokens se pasan de extremo a extremo.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…