Cognition lanza SWE-2 Flash: 5 veces más barato y un 20% de tareas resueltas en Terminal-Bench, frente al 0,9%

La mayor parte del trabajo diario de los agentes de código no requiere el modelo más caro. Revisar un pull request, actualizar el README tras un cambio de configuración o cerrar una tarea menor en el tracker: para todo eso un modelo insignia es excesivo, y su precio y su lentitud se acumulan rápido. Cognition ha lanzado SWE-2 Flash, que describe como un modelo de programación totalmente estadounidense.

Cuesta 5 veces menos que el SWE-2 y es tres veces más rápido: unos 200 tokens por segundo frente a 60 (un token es un fragmento de texto, de una a dos sílabas aproximadamente). La calidad también ha mejorado: en Terminal-Bench 4.0, donde el agente ejecuta comandos por sí mismo en la terminal y resuelve tareas aplicadas, como analizar datos biológicos, el modelo completa el 20% de los ejercicios.

El modelo base, Inkling-Small, resolvía el 0,9%.

Velocidad y precio

SWE-2 Flash ya está disponible en Devin Desktop y Devin CLI. La diferencia de velocidad se nota en las sesiones largas de agente, en las que el modelo lee archivos, ejecuta pruebas y corrige código decenas de veces seguidas. Cada pausa se convierte en espera, y una respuesta tres veces más rápida la reduce de forma notable.

La base es Inkling-Small, de Thinking Machines: 276 mil millones de parámetros en total, de los cuales se activan 12 mil millones a la vez. A modo de comparación, Beam 1.0 tiene 501 mil millones, Muse Spark Open, 816 mil millones, y SWE-2, alrededor de 2,8 billones. Según Cognition, en las pruebas de referencia más relevantes Flash supera a todos los modelos estadounidenses de pesos abiertos, incluidos los que triplican su tamaño.

De dónde viene la mejora

La principal novedad de la receta es el entrenamiento intermedio (mid-training) previo al aprendizaje por refuerzo. Cognition no había utilizado antes esta etapa. El equipo reunió un conjunto de varios billones de tokens con artículos científicos, blogs, código y otras fuentes. El entrenamiento se desarrolló en tres fases, y el modelo vio al final los datos más escasos y de mayor calidad.

Para ajustar las proporciones de datos, los ingenieros compararon distintas mezclas: cuántos tokens hacen falta para alcanzar, en un conjunto de validación reservado, el mismo error que el entrenamiento base. Elaboraron ese conjunto ellos mismos y refleja tareas reales de desarrollo.

Después llegó el aprendizaje por refuerzo a gran escala. La receta en sí cambió poco, y la mayor parte de la mejora, según Cognition, procede de las tareas. El equipo revisó las instrucciones, la configuración del entorno y los scripts de verificación, y añadió nuevos tipos de ejercicios para que el modelo aprendiera a razonar de forma más amplia.

Resultados frente al modelo base Inkling-Small:

• Terminal-Bench 4.0: del 0,9% al 20,0%;
• FrontierCode 2.0: del 3,2% al 24,0%;
• DeepSWE 1.1: del 17,4% al 60,1%;
• ExploitBench: del 11,3% al 34,8%.

En FrontierCode 2.0, Flash obtuvo un 24,0% frente al 23,8% del SWE-2. En Terminal-Bench 4.0, el modelo mayor sigue por delante (27,3% frente a 20,0%), y en DeepSWE 1.1 la distancia es mayor (73,0% frente a 60,1%).

Ciberriesgos y pesos cerrados

Cognition entrenó el modelo específicamente en ciberseguridad para que ayude a los defensores. El resultado en ExploitBench, una prueba de creación de exploits, se multiplicó aproximadamente por tres. Pero esas mismas habilidades también sirven a los atacantes, y la compañía cita el reciente aumento de ciberataques como motivo para no publicar los pesos de forma abierta.

En su lugar prepara un programa en el que recibirán los pesos socios verificados de la industria y laboratorios de investigación. Podrán reentrenar el modelo y ejecutarlo en entornos cerrados, incluso en servidores propios. Los detalles se darán a conocer en unas semanas.

Qué hacer con esto

Si sus agentes se dedican sobre todo a revisar código, escribir documentación y cerrar tareas pequeñas, conviene ejecutarlos con Flash y comparar el resultado con el de un modelo caro. Hasta el 30 de noviembre se puede hacer gratis. Los equipos con requisitos estrictos de privacidad deberían seguir las condiciones del programa de acceso a los pesos.

Las salvedades son evidentes. Todas las cifras las ha proporcionado la propia Cognition y todavía no hay verificaciones independientes. El SWE-2 sigue siendo más potente en tareas complejas, y un modelo que resuelve en la terminal una quinta parte de los ejercicios aún no sustituye a un ingeniero. En cambio, la combinación de precio, velocidad y calidad lo convierte en un candidato serio para el trabajo automático a gran escala.