Claude Haiku 5.5 llega a Devin: 58,4% en FrontierCode con un coste ocho veces inferior al de Sonnet 5

Claude Haiku 5.5 ha llegado a Devin, y la cifra principal del lanzamiento es esta: 58,4% en FrontierCode 1.1. Se trata de un benchmark propietario del equipo de Devin que evalúa a los modelos con tareas reales de ingeniería, tanto por la calidad de la solución como por la posibilidad de fusionarla (merge) en la rama principal. En esta escala, el modelo más pequeño de la línea supera a Sonnet 5 (56,2%), y el coste de una tarea, según Windsurf, es aproximadamente ocho veces menor.

Qué ha mostrado FrontierCode 1.1

El leaderboard consta de once posiciones y Haiku 5.5 queda en el centro. Por encima están GPT-6.1 Sol, GPT-6 Sol, SWE-2, Claude Fable 5.1, Sonnet 5.5 y Opus 5.5. Por debajo se sitúan Kimi K3, Gemini 3.7 Flash, Sonnet 5 y GPT-6 Luna. La distancia con la cabeza sigue siendo notable: a Sonnet 5.5 (64,4%) le faltan 6 puntos, y a Opus 5.5 (65,3%), casi 7. En cambio, la diferencia de 2,2 puntos con Sonnet 5 favorece a Haiku.

Las cifras clave de la publicación:

• Claude Haiku 5.5: 58,4%
• Claude Sonnet 5: 56,2%
• Kimi K3: 58,2%
• Gemini 3.7 Flash: 56,3%
• GPT-6 Luna: 56,1%
• Claude Sonnet 5.5: 64,4%
• Claude Opus 5.5: 65,3%
• Coste por tarea de Haiku 5.5: aproximadamente 1/8 del de Sonnet 5

También conviene tener en cuenta el margen de error. Haiku 5.5 y Kimi K3 están separados por 0,2 puntos, es decir, en este benchmark juegan prácticamente en la misma liga. En los gráficos de coste por ejecución, el eje va de $0,02 a $20 y, a juzgar por ellos, los precios de los modelos difieren en órdenes de magnitud. El texto no da los valores exactos de cada modelo, así que lo único fiable es la proporción declarada de «unas ocho veces».

Fusion: un modelo más débil como asistente

La segunda parte del anuncio se refiere a Devin Fusion. Haiku 5.5 se ha incorporado a la línea de modelos sidekick, es decir, asistentes que trabajan junto al modelo principal. Con Haiku 5.5 en ese papel, Fusion llega a 66,2 puntos en FrontierCode. Es más que Opus 5.5 por sí solo (65,3%). Además, según los autores, se reducen el coste y la latencia.

La lógica es clara: el modelo caro planifica y toma las decisiones clave, y el barato se encarga del trabajo voluminoso. La diferencia de 0,9 puntos a favor de la combinación es pequeña, y el benchmark no publica intervalos de confianza. El argumento principal es otro: calidad al nivel del modelo insignia con menos gasto.

Ya se puede probar en Devin CLI, donde Opus 5.5 actúa como modelo principal. También existe Devin Desktop.

Dónde resulta útil en la práctica

Primero, las salvedades. FrontierCode pertenece al propio Devin, no vemos su metodología ni la composición de las tareas, y los resultados se han publicado en su propio blog. Eso no basta para una comparación independiente. Sin embargo, para elegir modelo dentro de un producto concreto, estos datos son útiles: el equipo mide lo que realmente ocurre en su agente.

Qué se puede hacer:

• Si las tareas son sobre todo rutinarias (correcciones de tickets, refactorizaciones pequeñas, tests), conviene probar Haiku 5.5 en lugar de Sonnet 5. Según las cifras declaradas, no es peor en calidad y es notablemente más barato.
• Para cambios complejos de varios pasos, deje Opus 5.5 como modelo principal y ponga a Haiku como asistente mediante Fusion.
• Antes de cambiar todo el flujo, ejecute entre 20 y 30 tareas propias de su repositorio y compare el porcentaje de cambios que superan la revisión. Es justo lo que el benchmark intenta medir.
• Calcule el coste por tarea, no por token: así la comparación con Sonnet 5 será más justa.

Si la proporción declarada de ocho veces se confirma con su código, el ahorro en grandes volúmenes de trabajo con agentes pasará a ser una partida apreciable del presupuesto.