VIALS-AA: Gemini 4 Carbon resuelve el 64% de las tareas científicas con imágenes; GPT-6.1 Sol es 30 veces más barato

Si está construyendo un agente que interpreta gráficos científicos, geles o microfotografías, la cuestión no es únicamente qué modelo es más inteligente. También importan la consistencia de sus respuestas y su coste. Artificial Analysis publicó VIALS-AA, su implementación del benchmark de Handshake AI, y los resultados difieren notablemente de las clasificaciones habituales.

Cómo está diseñada la prueba

El benchmark incluye 161 tareas con imágenes científicas: electroforesis en gel, restricción de plásmidos, recuento de contactos hidrofóbicos, árboles filogenéticos y citometría de flujo. Cada modelo resuelve cada tarea tres veces mediante el entorno abierto Stirrup. Dispone de ejecución de código y de una herramienta para visualizar imágenes. La métrica principal es pass^3, es decir, la proporción de tareas en las que las tres ejecuciones fueron correctas. La lógica es sencilla: en ciencia, una respuesta que cambia de una ejecución a otra conduce a conclusiones erróneas y a costosos experimentos repetidos.

Qué mostraron los resultados

Gemini 4 Carbon (high) ocupa el primer puesto con un 64%: resolvió de forma consistente 103 de las 161 tareas. GPT-6 Astra (max) queda segundo, a dos tareas de distancia. La frontera de Pareto entre precio y calidad está formada por Gemini 4 Carbon, GPT-6 Luna, GPT-6.1 Sol, GPT-6.1 Terra y GPT-6 Astra.

Los costes varían radicalmente. GPT-6 Luna cuesta $0,02 por tarea, mientras que Grok 4.7 (xhigh) cuesta $1,77. GPT-6.1 Sol alcanza un 59% por $0,06, mientras que Claude Opus 5.5, con un resultado similar del 61%, cuesta aproximadamente treinta veces más.

El segundo hallazgo es que el esfuerzo no equivale a precisión. Claude Sonnet 5.5 y GPT-6.1 Sol obtienen un 60% y un 59%, respectivamente, pero Sonnet realiza 3,6 veces más llamadas a herramientas y consume cerca de 63,5 mil tokens de salida, frente a aproximadamente 2,5 mil de Sol. Claude mide activamente: calibra con la escalera de marcadores e interpola la masa molecular. GPT se apoya con más frecuencia en una inspección visual rápida, y ambos enfoques funcionan.

Dónde se equivocan los modelos

En el ejemplo de la banda de proteína n.º 22, Grok 4.7 empleó 27 pasos y 20 visualizaciones de la imagen, pero respondió 50–70 kDa en lugar del intervalo correcto de 40–50. A juzgar por su traza, se fijó en la etiqueta “22” y en la flecha, no en la tenue banda. Sonnet distinguió ambos elementos: la etiqueta estaba alrededor de 53 kDa y la banda, alrededor de 48,7 kDa.

Aún más interesante es el experimento con GLM-5.3, que carece de visión nativa. El modelo cargó la imagen en matrices, aplicó umbrales a las regiones, ejecutó OCR e imprimió mapas de texto. GLM-5.3 (max) empleó 54 pasos y 57 llamadas de código, pero respondió incorrectamente. La versión más ligera GLM-5.3-Flash, con diez visualizaciones de la imagen, resolvió la tarea en 30 pasos.

La estabilidad importa más que un éxito aislado

Los mejores modelos abiertos, como Kimi K3.1 Pro, MiMo-V2.6-Pro y MiniMax-M3.1-Flash, resuelven al menos una vez entre 114 y 119 tareas, mientras que los siete mejores modelos cerrados resuelven entre 111 y 118. Sin embargo, las tres ejecuciones solo tienen éxito en 48–73 tareas para los modelos abiertos, frente a 95–103 para los cerrados. Kimi K3.1 Pro obtiene un 45% en pass^3, frente al 63% de GPT-6 Astra, aunque sus resultados en pass@3 son similares.

Otro detalle: el 86,7% de las llamadas de Gemini 3.8 Flash son llamadas “vacías” en las que el código se utiliza como bloc de notas para el razonamiento.

Qué hacer con esta información

• Compare los modelos por pass^k, no por su mejor intento. En producción importa la reproducibilidad.
• Calcule el coste por tarea, no por token: la diferencia entre modelos de calidad similar alcanza entre 18 y 30 veces.
• No considere el número de pasos y herramientas como un indicador de calidad. Las trazas largas suelen reforzar el error inicial.
• Examine el desglose por dominios: Opus lidera en blotting, Sonnet en recuento de células y Terra en estructuras de proteínas.

Limitaciones: el benchmark es pequeño, con 161 tareas, y parte de los resultados se obtuvo con modelos que no disponen de una API pública. La evaluación depende del entorno Stirrup concreto, y la clasificación puede cambiar en otro entorno. Aun así, como ejemplo de una evaluación honesta de la fiabilidad y el coste de los agentes, VIALS-AA resulta útil para quienes eligen un modelo para pipelines científicos.