FrontierCode: los mejores modelos de IA no superan la revisión de los mantenedores en el 42% de los intentos

Incluso los mejores modelos de programación siguen escribiendo con frecuencia cambios que un mantenedor no fusionaría. Artificial Analysis ha publicado los primeros resultados independientes de FrontierCode 1.1, un benchmark de Cognition construido junto con mantenedores de proyectos reales de código abierto. El líder, Claude Opus 5.5 (max with fallback), obtiene una media del 52%. El 58% de sus intentos pasa todas las comprobaciones bloqueantes, y el 42% restante termina en cero. Los resultados son del 12 de octubre de 2026.

Qué mide exactamente FrontierCode

Cada tarea pide al agente que introduzca un cambio en un repositorio real. No basta con que los tests salgan en verde. El benchmark penaliza los cambios excesivos y los diffs inflados, las modificaciones de archivos fuera del área necesaria y los tests inútiles. Hoy los modelos resuelven bien las tareas de programación, pero su resultado a menudo requiere una limpieza considerable antes del merge. FrontierCode intenta medir justamente esa brecha.

Cognition creó el conjunto junto con los mantenedores de 36 repositorios, que dedicaron más de 40 horas a cada tarea. El benchmark se anunció en junio de 2026; la versión 1.1 salió en julio y añadió reglas de uso legítimo de internet. El verificador combina tests ocultos y comprobaciones de comandos, límites al número de archivos afectados y al volumen de código, y una revisión por un modelo de lenguaje según los criterios de los mantenedores. Si falla cualquier comprobación bloqueante, la puntuación es 0. Quien las supera todas recibe entre un 70% y un 100%.

Artificial Analysis ejecutó el conjunto principal de 100 tareas (el benchmark completo tiene 150), con tres intentos por tarea. Todos los modelos trabajaron con el mismo arnés, el harness agéntico de código abierto Stirrup, con un límite de 250 turnos. Como juez actuó GPT-6 Luna (medium). Un intento en el que el escáner de trayectorias de Cognition detecta que el modelo ha espiado la solución también recibe cero. Las tareas son privadas, para evitar que se filtren a los datos de entrenamiento.

El panorama en la cima

• Claude Opus 5.5 (max with fallback): 52% de puntuación, 58% de pass rate, $10,15 por tarea.
• GPT-6.1 Sol (max) y Claude Fable 5.1 (max with fallback): 49% cada uno. Sol cuesta $0,81 por tarea; Fable, $12,00.
• El mejor modelo de pesos abiertos: MiMo-V2.6-Pro, con un 45% a $0,18 por tarea. DeepSeek V4.1 Flash (max) y Kimi K3 (max) le siguen con un 44%.
• Nueve modelos de seis laboratorios se sitúan en el rango del 43% al 52%.
• El pass rate cae hasta el 16% en Muse Glimmer (high).
• Ningún modelo resolvió 9 de las 100 tareas en ningún intento. No hay ninguna tarea que todos los modelos superen en todos los intentos.

Precio, tokens y tiempo

El coste por tarea varía más de 100 veces: desde $0,09 en GPT-6 Luna (max), que logró un 42%, hasta $12,00 en Claude Fable 5.1. En la frontera de Pareto de puntuación frente a precio hay cuatro modelos: GPT-6 Luna (max) con un 42% y $0,09, MiMo-V2.6-Pro con un 45% y $0,18, GPT-6.1 Sol (max) con un 49% y $0,81, y Claude Opus 5.5 con un 52% y $10,15. El último salto, de Sol a Opus, aporta 3 puntos a cambio de multiplicar el precio por más de 12.

Las comparaciones dentro de una misma familia también son reveladoras. GPT-6.1 Sol queda 2 puntos por encima de GPT-6 Astra (max) y cuesta cinco veces menos: $0,81 frente a $4.22. Claude Sonnet 5.5 genera aproximadamente un 50% más de tokens de salida que Opus 5.5, pero, como el precio por token es la mitad, le sale a $8,26 frente a $10,15.

Los modelos GPT-6 son los más económicos en tokens. GPT-6 Astra y GPT-6.1 Sol gastan unos 27 mil y 33 mil tokens de salida por tarea, respectivamente. Claude Opus 5.5 gasta unos 157 mil, y Claude Sonnet 5.5, unos 236 mil, el máximo de la tabla. El tiempo por tarea depende tanto del número de tokens como de la velocidad de generación: va desde unos 3 minutos en Inkling (xhigh) hasta unos 46 minutos en Qwen3.8 Max (0902).

Cómo leer esta clasificación

La conclusión práctica para los equipos que implantan agentes de programación: la diferencia de 3–10 puntos entre los modelos de cabeza suele ser menor que la diferencia de precio, que es de un orden de magnitud. Si el agente trabaja en modo autónomo y cada PR pasa de todos modos por revisión humana, GPT-6.1 Sol o MiMo-V2.6-Pro parecen, con estos datos, opciones más racionales que los buques insignia caros. Pagar por los últimos 3 puntos respecto al líder solo se justifica cuando el coste de un error es alto.

Hay otra métrica útil: el 42% de fallos del líder implica que la revisión humana sigue siendo obligatoria. Conviene vigilar no solo que pasen los tests, sino también el tamaño de los diffs y los cambios colaterales. Por ahora FrontierCode se publica como un leaderboard independiente y no forma parte del Artificial Analysis Intelligence Index. Se ha prometido incorporarlo próximamente al Coding Agents leaderboard.