GPT-6.1 Sol en Devin logra un 60,4% en FrontierCode a $0,31 por tarea

OpenAI ha lanzado GPT-6.1 Sol, y Devin la integró el mismo día del lanzamiento: el modelo está disponible en Devin Desktop y Devin CLI. En FrontierCode 1.1, el benchmark propio del equipo de Windsurf, obtiene un 60,4%. GPT-6 Sol consigue un 60,7% y GPT-5.6 Sol, un 60,6%. La diferencia de calidad queda dentro del ruido estadístico, pero el precio por tarea ha caído de forma radical: en el nivel medio de reasoning effort, GPT-6.1 Sol cuesta $0,31, mientras que GPT-6 Sol gasta $1,66 en el nivel máximo para lograr su mejor resultado. El ahorro es del 81%.

El mismo resultado, otra factura

FrontierCode 1.1 evalúa los modelos con tareas de ingeniería reales según dos criterios: la calidad de la solución y la mergeability, es decir, si los cambios pueden incorporarse al código base sin reescribirlos. Es un enfoque más cercano al trabajo diario de un desarrollador que los tests clásicos de «la tarea se resolvió o no se resolvió».

Según los datos de Windsurf, el panorama por modos es este:

• GPT-6.1 Sol, puntuación final: 60,4%, frente a 60,7% de GPT-6 Sol y 60,6% de GPT-5.6 Sol.
• Nivel de esfuerzo medio: $0,31 por tarea.
• Máximo de GPT-6 Sol: $1,66 por tarea para su mejor resultado.
• Ahorro en cada nivel de esfuerzo: del 44% al 57% respecto a GPT-6 Sol, con un resultado igual (dentro de un punto) o superior.
• Nivel de esfuerzo bajo: 58,1% por $0,21, frente a 50,5% de GPT-6 Sol con los mismos ajustes.

El cambio principal está en la parte baja de la escala

El nuevo modelo no ha elevado el techo de calidad, y las cifras lo muestran. Lo más interesante está en la parte baja de la curva. En el nivel de esfuerzo bajo, GPT-6.1 Sol suma 7,6 puntos respecto a GPT-6 Sol: pasa del 50,5% al 58,1%. Además, el precio se mantiene en $0,21 por tarea. Según el leaderboard de FrontierCode, es el mejor resultado entre todos los modelos de menos de $0,30 por tarea.

Para los escenarios con agentes, esto es relevante. Cuando un agente se lanza cientos de veces al día en tareas menores, como corregir tests, hacer refactorizaciones o actualizar dependencias, la diferencia entre $0,21 y $1,66 se convierte en una partida visible del presupuesto. Ahora, por ese precio se puede obtener un resultado que antes requería el modo máximo.

Su lugar en el panorama general

GPT-6.1 Sol no es la líder absoluta. En el leaderboard la superan Claude Opus 5.5 (65,3%), Claude Fable 5 (64,9%), GPT-6 Astra (64,5%), Claude Sonnet 5.5 (64,4%), Claude Fable 5.1 (63,6%), SWE-2 (62,5%) y Grok 4.6 (61,3%). Por debajo queda Grok 4.7, con un 59,4%. Le faltan 4,9 puntos para la primera posición. Pero en el gráfico de precio frente a calidad, el modelo se sitúa en la esquina inferior izquierda: los precios del eje van de $0,25 a $5 por rollout, y en la zona barata GPT-6.1 Sol casi no tiene competidores.

La salvedad es evidente: FrontierCode es un benchmark propietario de la propia Windsurf, y las cifras se han publicado en el blog de una empresa que vende acceso a los modelos. El material no incluye ninguna verificación independiente. Aun así, la metodología, que evalúa si el código es apto para integrarse, parece más sensata que la de muchos tests públicos.

Cómo usarla en la práctica

A los equipos que ya trabajan en Devin les conviene ejecutar con GPT-6.1 Sol sus tareas habituales en el nivel de esfuerzo medio y compararlas con su configuración actual. Según las cifras de Windsurf, la pérdida de calidad es mínima y el coste baja varias veces.

Para tareas menores en volumen, merece la pena probar el modo bajo: $0,21 con un 58,1% cubren una parte considerable de la rutina. Los niveles máximos y los modelos de gama alta, como Claude Opus 5.5, es más razonable reservarlos para tareas complejas, donde importan los últimos puntos de calidad y su precio está justificado.

Antes de cambiar todo el flujo de trabajo, conviene reunir una muestra propia de tickets reales: el resultado en un benchmark cerrado no garantiza el mismo comportamiento en su código base.