OpenVLHarness da memoria y herramientas a los modelos multimodales: +9,7–12,6 puntos

Los autores de OpenVLHarness proponen dejar que el modelo multimodal siga razonando por su cuenta y darle herramientas externas junto con una memoria donde se almacenen los resultados de esas herramientas. En 22 benchmarks con ocho modelos abiertos y cerrados, esta capa elevó la puntuación media entre 9,7 y 12,6 puntos frente a baselines idénticos sin herramientas. El resultado más llamativo tiene que ver con el coste: GPT-6 Luna con reasoning effort medio superó por 7,7–8,5 puntos al modelo base, a Codex y a Visual Sketchpad, que trabajaban con el máximo esfuerzo. Gastó como máximo el 37% de los tokens que consumieron ellos.

Por qué no basta con razonar más

El punto de partida del trabajo es un experimento controlado con los mismos 22 benchmarks. Si simplemente se aumenta el presupuesto de inferencia del modelo base, es decir, se le dan más tokens para pensar, la mejora es modesta. La razón está en la naturaleza de las tareas: exigen percepción anclada en la imagen, conocimiento externo y mediciones numéricas. Todo eso lo aportan herramientas distintas, y el modelo no puede deducirlo de sus propios pesos por mucho que piense.

Hay un segundo problema. La salida de una herramienta debe convertirse en algo que el modelo pueda leer y, después, no perderse en el siguiente paso de razonamiento. Ahí es donde fallan la mayoría de los esquemas agénticos: la imagen o la tabla aparece una sola vez y, tres pasos más tarde, solo queda un resumen en texto.

Cómo está construida la capa

OpenVLHarness se articula en torno a dos capas y una interfaz.

• Capability layer reúne interfaces de herramientas a nivel de tarea con el renderizado de evidencias. Ofrece un acceso unificado a backends heterogéneos y convierte sus salidas en observaciones comprensibles para el modelo.
• La memoria multimodal persistente almacena imágenes, datos estructurados y enlaces web como artefactos direccionables durante toda la consulta.
• Coding interface ejecuta programas generados sobre los datos almacenados, de modo que el modelo puede calcular combinando los resultados de varias herramientas.

En conjunto, esto convierte la respuesta en un ciclo iterativo: obtener una evidencia, examinarla y combinarla con otras. La direccionabilidad de los artefactos es aquí el detalle clave. El modelo remite a una imagen o a un conjunto de datos concretos de la memoria mediante su dirección, en lugar de arrastrarlos enteros en el contexto.

Los números

• Alcance: 22 benchmarks, ocho backbones abiertos y cerrados.
• Mejora media respecto al matched no-tool baseline: 9,7–12,6 puntos.
• Qwen3-VL-8B: +11,2.
• Kimi K3: +9,7.
• GPT-6 Astra: +9,9.
• GPT-6 Luna con medium effort frente al modelo base, Codex y Visual Sketchpad con effort máximo: ventaja de 7,7–8,5 puntos.
• Gasto de tokens del modelo: no más del 37% del de esos competidores.

Conviene fijarse en la dispersión. La compacta Qwen3-VL de 8.000 millones de parámetros gana +11,2, más que modelos cerrados insignia como GPT-6 Astra (+9,9). En los modelos pequeños, las herramientas y la memoria compensan en parte la falta de capacidades propias.

Qué deberían hacer los desarrolladores

La conclusión práctica para quienes construyen agentes visuales es que, si falta calidad, conviene revisar primero la arquitectura alrededor del modelo antes que subir el reasoning effort. La comparación con Codex y Visual Sketchpad muestra que un esfuerzo medio con herramientas bien organizadas puede superar al esfuerzo máximo sin ellas, y con un coste en tokens tres veces menor.

Hay tres prácticas que ya merece la pena adoptar. Primera: llevar las salidas de las herramientas a un formato que el modelo lea sin pérdidas. Segunda: guardar las imágenes y los datos intermedios como objetos direccionables, no como resúmenes en texto. Tercera: permitir que el modelo calcule el resultado con código sobre los datos guardados. Hay una salvedad: las cifras proceden de la descripción de los propios autores y el material no incluye verificaciones independientes, así que conviene comprobarlas con tareas propias antes de implantar la solución.