Gemini 4 Carbon, de Google, logra un 88,2% en una prueba de búsqueda de vulnerabilidades; el acceso sigue cerrado

Google DeepMind ha anunciado Gemini 4 Carbon, un nuevo modelo que presenta como el más potente de la compañía. La cifra principal del anuncio, 88,2%, se obtuvo en la prueba SEC-bench Pro. En ella, el modelo busca sin ayuda humana vulnerabilidades reales, es decir, errores en programas reales que permiten vulnerar un sistema. Carbon llega dos semanas después de Gemini 4 Argon. Google pone el foco en la ciberseguridad y en las tareas largas de ingeniería, que un modelo agente resuelve en varios pasos, a veces durante días. El acceso, por ahora, es limitado: primero lo recibirán algunos especialistas en ciberdefensa. Casi todas las cifras que siguen proceden del propio anuncio de Google.

Tres pruebas que cubren todo el recorrido del defensor

Google sostiene que Carbon cubre las tres etapas del trabajo de un defensor: encontrar la vulnerabilidad, evaluar lo peligrosa que es y corregirla. Para ello la compañía aporta tres pruebas externas. En las tres, el modelo trabajó sin restricciones de protección.

• SEC-bench Pro. Mide la búsqueda de vulnerabilidades reales en programas reales. Carbon obtiene 88,2%, que según Google es el mejor resultado hasta la fecha. • ExploitGym. Mide si una brecha encontrada se puede usar para un ataque. A los defensores les sirve para decidir qué arreglar primero y qué no merece la pena arreglar en absoluto. Carbon obtiene 54,8%, también el mejor resultado. • CWE-bench, de la empresa Collinear. Mide si el modelo es capaz de encontrar la causa de un error y escribir una corrección funcional. Carbon obtiene 71,0%.

Hay también mediciones internas de Google. En las pruebas de la compañía, Carbon escribe código seguro más del doble de veces que Argon. El equipo del navegador Chrome informó de que, al crear parches de calidad, Carbon funcionó más de 10 veces mejor que un modelo grande de otro laboratorio. Google no dice de cuál se trata. Wiz, la plataforma de seguridad en la nube propiedad de Google, señala que Carbon lidera las pruebas de hackeo de aplicaciones web. Esa es la base de su iniciativa Scan for Good.

En el ranking agregado Artificial Analysis Intelligence Index, versión 5.0, Carbon ocupa el primer puesto con 59 puntos. En WebDev Arena, donde se evalúa la calidad de los sitios y aplicaciones web creados por modelos, ganó 89 puntos Elo y ahora es cuarta (1769). Google también habla de mejoras en programación, tareas científicas, desarrollo web y comprensión de distintos tipos de datos.

Trabaja durante días y hace menos trampas

Carbon está pensada para tareas largas en las que el agente actúa de forma autónoma. Dentro de Google se la ejecutó durante varios días y seguía trabajando cuando se topaba con un callejón sin salida. Las tareas típicas son encontrar la causa de un error sutil y corregirlo en una base de código grande o en un sistema de bajo nivel.

Carbon hereda la protección de Argon. Incluye el entrenamiento del modelo, la defensa en tiempo real contra abusos, la resistencia a la prompt injection y el control de la cadena de razonamiento del modelo. La prompt injection es un ataque en el que se ocultan órdenes dañinas en los datos que procesa el modelo. Además, Google entrenó a Carbon para comportarse correctamente en tareas complejas y bajo presión. Las cifras del anuncio:

• Trampas en las pruebas. En Terminal-Bench 4.0, una prueba del trabajo de un agente en la línea de comandos, los intentos exitosos de esquivar la tarea mediante una laguna cayeron hasta el 0,0%, y los intentos en sí, hasta el 0,4%.

La precisión general, además, aumentó. • Señales de alarma. En sesiones de trabajo reales con equipos de Google, las alertas graves de que el modelo no actuaba como debía se redujeron casi un 80%.

• Invenciones. Las afirmaciones sin respaldo en fuentes son aproximadamente la mitad que en Argon. Si faltan datos, Carbon incluye las salvedades directamente en el resultado o enumera lo que aún se necesita para continuar, y no se inventa nada.

• Tareas poco claras. En lugar de adivinar, el modelo reúne fuentes y muestra al usuario las discrepancias antes de empezar a trabajar. • Límites de la tarea.

La iniciativa innecesaria bajó un 26% y las tareas sin terminar, un 29%. Un plan de muchos pasos se ejecuta con más fiabilidad y se mantiene dentro del proyecto. • Prompt injection.

En la prueba Gray Swan Indirect Prompt Injection, Argon dejaba pasar el 0,7% de los ataques. Carbon no dejó pasar ninguno de los evaluados.

Un cero por ciento no significa que el modelo no se pueda hackear: el conjunto de ataques de la prueba es limitado y los atacantes reales son más ingeniosos. Pero para un agente al que se confía un repositorio durante varios días, este comportamiento es importante.

Quién tendrá acceso y cuánto costará

Google lanza el modelo con cautela. La compañía participa en la revisión voluntaria de modelos previa a su lanzamiento que realiza el Gobierno de EE. UU. Esta semana reciben Carbon algunos especialistas en ciberdefensa. Después el acceso se abrirá poco a poco a otros socios de confianza a través del programa Fairwind. A desarrolladores, empresas y usuarios corrientes se les promete el modelo lo antes posible, pero no hay plazos. Mientras tanto, Google recoge opiniones y afina las restricciones de protección.

El precio es el mismo que el de Argon. Durante el periodo introductorio es de $2 por millón de tokens de entrada y $10 por millón de tokens de salida. Un token es un pequeño fragmento de texto en el que el modelo divide la consulta y la respuesta. Los tokens de entrada procedentes de la caché, es decir, el contexto que se reutiliza, cuestan un 95% menos. Tras el periodo introductorio los precios se duplicarán: $4 y $20.

Si mediciones independientes confirman las cifras de Google, la búsqueda de vulnerabilidades y la preparación de correcciones podrán delegarse casi por completo en el modelo. Los equipos de seguridad saldrían ganando. Pero un modelo que encuentra y explota bien las brechas también puede resultar útil para los atacantes, por lo que el lanzamiento cerrado parece razonable. Quienes planeen integrar Carbon en sus productos deberían tener en cuenta de antemano que las tarifas se duplicarán.