Cognition lanza SWE-2: 50% en FrontierCode con un coste un 64% menor

Cognition ha presentado SWE-2, su modelo de programación más avanzado hasta la fecha. En FrontierCode 1.1 Main alcanza un 50,0%, situándose a solo 0,9 puntos de Fable 5.1 pero con un coste un 64% menor. El modelo se ha optimizado a partir de Kimi K3, que cuenta con 2,8 billones de parámetros. Según la compañía, es la primera vez que escala el aprendizaje por refuerzo (RL) a este rango multitrillonario. Actualmente, SWE-2 está disponible en Devin Desktop y CLI, mientras que su despliegue en Devin Web y Fusion está en curso.

Cifras frente a la competencia

Cognition compara SWE-2 con la base Kimi K3, Grok 4.6, Fable 5.1, GPT-5.6 Sol, GPT-6 Astra y su propio SWE-1.7. Según la empresa, SWE-2 supera a SWE-1.7 y a Grok 4.6 tanto en rendimiento como en precio. Frente a GPT-5.6 Sol y Fable 5/5.1 ofrece una calidad comparable, pero resulta notablemente más asequible. Queda a escasos puntos de GPT-6 Astra, aunque cuesta una cuarta parte.

• FrontierCode 1.1 Main: 50,0% (Kimi K3: 44,2%, Fable 5.1: 50,9%, GPT-6 Astra: 53,3%, SWE-1.7: 42,0%).
• DeepSWE 1.1: 73,0% (Kimi K3: 68,5%, GPT-5.6 Sol: 72,7%, GPT-6 Astra: 74,1%, SWE-1.7: 37,7%).
• Terminal-Bench 2.1: 92,8% frente al 91,4% de Fable 5.1.
• Terminal-Bench 4: 27,3%. En este punto la brecha es amplia: Fable 5.1 registra un 55,8% y GPT-6 Astra un 57,9%. No obstante, SWE-2 casi cuadruplica el 7,6% obtenido por SWE-1.7.

En Terminal-Bench 4 los líderes mantienen una ventaja clara. La mejora de 5 a 6 puntos respecto a Kimi K3 en múltiples pruebas proviene del postentrenamiento con RL, un área donde el modelo base aún ofrecía un margen considerable según Cognition.

Metodología de entrenamiento: el coste dentro de la recompensa

La principal novedad metodológica radica en integrar la penalización por coste directamente en la función de recompensa: R = S − λe·C. En esta fórmula, S equivale a 1 si la ejecución tiene éxito y 0 si falla, C representa el coste del intento (combinando dólares por inferencia y tiempo), y e indica el nivel de reasoning effort. El coeficiente λe se ajusta a la pendiente local de la frontera de Pareto del modelo base en dicho nivel.

Cognition demuestra en el anexo técnico que la penalización debe ser lineal para operar de forma idéntica antes y después de promediar las tareas. Si λ se fija en un valor excesivo, el modelo configurado en high-effort pasa a comportarse como medium: el coste se reduce más rápido que la tasa de resolución y la recompensa aumenta, pero la frontera no avanza. Todos los niveles de esfuerzo se entrenan en una única tirada.

Para ello, Kimi K3 recurre a expertos específicos según dominio y nivel con una posterior destilación.

Para estabilizar el proceso, Cognition emplea una línea base grupal ponderada por longitud, técnica que utiliza desde SWE-1.6. Una línea base óptima exigiría un backward pass adicional, pero la norma del gradiente muestra una fuerte correlación con la longitud del rollout. Por este motivo, se sustituye por la suma de Ri·Li dividida entre la suma de Li, manteniendo baja la divergencia KL entre inferencia y entrenamiento en las ablaciones.

La aceleración de los rollouts combina varias técnicas: el prefill delayer agrupa peticiones próximas y aporta entre un 10% y un 20% de mejora en TPM por GPU y TPS por petición. La decodificación especulativa de DSpark pierde eficiencia conforme varía la política, por lo que el modelo borrador se reentrenó mediante SpecForge, elevando la longitud de secuencias aceptadas en un 15%. Los núcleos NVFP4/FP8 y el quantization-aware training redujeron el uso de memoria.

Como resultado, la discrepancia entre entrenamiento e inferencia fue menor que en SWE-1.7 con un rendimiento similar, a pesar de que el modelo casi triplica su tamaño. Además, se triplicaron los entornos de RL, se incorporaron capas superpuestas de instrucciones y se usaron checkpoints anteriores de SWE-2 para endurecer los verificadores.

Comportamiento del agente e implicaciones prácticas

El impacto más visible es la reducción de pasos. En FrontierCode 1.1 Main, SWE-1.

7 requiere una media de 127 pasos por tarea, mientras que SWE-2 consume 53 en medium, 80 en high y 98 en max. La primera modificación real de código en medium se produce en una mediana de 18 pasos, frente a los 48 de SWE-1.7.

Esta mejora responde a las críticas sobre el tiempo excesivo que dedicaba la versión previa a explorar el código en problemas sencillos. Al mismo tiempo, el modo medium es más rápido, un 81% más económico que SWE-1.7 y obtiene puntuaciones superiores.

Cognition destaca también avances cualitativos: las pruebas generadas son más exhaustivas y, ante el bloqueo de una integración MCP, el modelo logró recuperar datos desde el historial de Slack. Cuando el usuario plantea una hipótesis, SWE-2 la comprueba en lugar de asumirla de inmediato.

A nivel práctico, la recomendación es directa: comenzar con medium para tareas simples y moderadas por su rapidez para entrar en acción, reservando high y max para modificaciones complejas que exijan planificación y verificación multinivel. Si el trabajo implica flujos extensos en terminal similares a Terminal-Bench 4, conviene prever margen o recurrir a GPT-6 Astra y Fable 5.1. Dado que los datos proceden por ahora de Cognition, la pauta lógica es evaluar SWE-2 en el propio repositorio y calcular el coste real por tarea resuelta.