Gemini 4 Carbon logra un 40% en FrontierCode 2.0 de Cognition a $4,04 por tarea

El equipo de Cognition, que desarrolla el ingeniero de IA Devin, ha publicado en X los primeros resultados de Gemini 4 Carbon y Gemini 4 Argon en su propio benchmark, FrontierCode 2.0. Según los autores, la prueba mide la capacidad del modelo para ir más allá de la especificación, es decir, para hacer más de lo que dice literalmente el enunciado. Gemini 4 Carbon obtuvo un 40% y cuesta $4,04 por tarea. Cognition lo describe como un resultado cercano al SOTA, pero reconoce que el modelo queda por detrás de Claude Opus 5.5, GPT-6 Astra y otro modelo de Claude.

Qué se sabe de Gemini 4 Carbon y Argon

El post aporta pocos datos, así que conviene enumerar las cifras con cuidado. Gemini 4 Carbon obtuvo un 40% en FrontierCode 2.0. El coste medio de resolver una tarea fue de $4,04. Por encima en la clasificación están Claude Opus 5.5, GPT-6 Astra y otro modelo de la familia Claude. Su nombre aparece cortado en el texto del post, por lo que no se puede indicar la posición exacta de Carbon en la tabla: solo se sabe que está por detrás de tres modelos.

Del segundo modelo, Gemini 4 Argon, el texto del post no ofrece ni puntuación ni coste. Cognition afirma que ambos modelos pasaron por el benchmark, pero solo da cifras de Carbon. Es probable que el cuadro completo esté en una imagen o tabla adjunta, que no está disponible en nuestro material. Por eso no se puede comparar Carbon con Argon a partir de un único post.

Por qué evaluar a un modelo en su capacidad de ir más allá de la especificación

La mayoría de los tests de programación más populares comprueban si el modelo cumple una tarea bien definida: corregir un bug o pasar tests escritos de antemano. En el desarrollo real, la tarea casi siempre está formulada de forma incompleta. Un buen ingeniero detecta los casos límite omitidos, alinea las interfaces con el resto del código y no rompe lo que el ticket no menciona. Esa es precisamente la capacidad que, según Cognition, intenta medir FrontierCode 2.0.

Para la compañía se trata de una cuestión práctica. Devin trabaja con tareas de repositorios reales, donde la especificación rara vez es exhaustiva. Un benchmark que distinga entre un modelo que sigue el texto al pie de la letra y otro que entiende la intención ayuda a decidir qué red neuronal poner como base del agente. Conviene recordar aquí que la metodología y el conjunto de tareas los ha publicado la propia Cognition, y no un laboratorio independiente. El benchmark está diseñado para sus escenarios, de modo que no conviene trasladar el resultado a cualquier otro stack sin verificarlo.

Cómo interpretar la combinación «40% y $4,04»

Por sí sola, la cifra del 40% dice poco: depende de la dificultad del conjunto de tareas. Si FrontierCode 2.0 se ha diseñado deliberadamente para ser difícil, un 40% puede ser un resultado sólido, y la fórmula «cercano al SOTA» apunta precisamente en esa dirección. Es más útil analizar la calidad junto con el coste. En una estimación aproximada, $4,04 por intento y un 40% de intentos exitosos equivalen a unos $10 por cada tarea resuelta. Es una estimación de la redacción, no una declaración de Cognition. Supone que el coste es más o menos igual en todas las tareas, mientras que en la práctica los intentos fallidos suelen costar más.

Para los equipos que eligen un modelo para programación con agentes, de aquí se desprenden varias conclusiones prácticas:

• Tiene sentido incluir a Gemini 4 Carbon en la comparativa al mismo nivel que Claude Opus 5.5 y GPT-6 Astra, sobre todo si el coste de ejecución es importante.
• El post no ofrece las cifras de Claude Opus 5.5 ni de GPT-6 Astra, por lo que no es posible estimar la diferencia en puntos ni en dólares a partir del texto.
• Para no depender de un benchmark ajeno, ejecute los modelos con 20–30 tareas propias de su backlog real y calcule el coste por tarea resuelta, no por intento.

El balance es modesto, pero útil. Con Gemini 4 Carbon, Google entra en el grupo de modelos competitivos para programación con agentes, aunque el liderazgo en esta prueba sigue en manos de Anthropic y OpenAI. Se podrán sacar conclusiones definitivas cuando se publique la tabla completa, con el resultado de Gemini 4 Argon y el coste del resto de los modelos.