OpenVLHarness dá memória e ferramentas a modelos multimodais: +9,7–12,6 pontos

Os autores do OpenVLHarness propõem deixar o raciocínio com o modelo multimodal e dar a ele ferramentas externas, junto com uma memória que guarda os resultados do trabalho delas. Em 22 benchmarks, com oito modelos abertos e fechados, essa camada elevou a pontuação média em 9,7–12,6 pontos em comparação com baselines idênticos sem ferramentas. O resultado mais notável diz respeito ao custo: o GPT-6 Luna, com reasoning effort médio, superou em 7,7–8,5 pontos o modelo base, o Codex e o Visual Sketchpad, que rodaram com esforço máximo. Ele gastou no máximo 37% dos tokens usados por eles.

Por que só raciocinar não basta

O ponto de partida do trabalho é um experimento controlado nos mesmos 22 benchmarks. Quando se aumenta apenas o orçamento de inferência do modelo base, ou seja, quando ele ganha mais tokens para "pensar", o ganho é modesto. O motivo está na natureza das tarefas. Elas exigem percepção ancorada na imagem, conhecimento externo e medições numéricas, e cada uma dessas coisas vem de uma ferramenta diferente. O modelo não consegue deduzi-las a partir dos próprios pesos, por mais que raciocine.

Há ainda um segundo problema. A saída de uma ferramenta precisa ser convertida em algo que o modelo consiga ler e, depois, não se perder no passo seguinte do raciocínio. É aqui que a maioria dos esquemas de agentes falha: a imagem ou a tabela aparece uma única vez e, três passos depois, resta apenas um resumo em texto.

Como a camada é construída

O OpenVLHarness se organiza em torno de duas camadas e uma interface.

• A capability layer reúne interfaces de ferramentas no nível da tarefa com a renderização de evidências. Ela oferece acesso unificado a backends heterogêneos e converte as saídas deles em observações compreensíveis para o modelo.
• A memória multimodal persistente guarda imagens, dados estruturados e links da web como artefatos endereçáveis durante toda a consulta.
• A coding interface executa programas gerados sobre os dados armazenados, o que permite fazer cálculos combinando resultados de várias ferramentas.

Juntas, essas peças transformam a resposta em um ciclo iterativo: obter uma evidência, examiná-la e combiná-la com outras. A endereçabilidade dos artefatos é o detalhe-chave. O modelo faz referência a uma imagem ou a um conjunto de dados específico da memória pelo endereço, em vez de carregar tudo no contexto.

Os números

• Cobertura: 22 benchmarks, oito backbones abertos e fechados.
• Ganho médio sobre o matched no-tool baseline: 9,7–12,6 pontos.
• Qwen3-VL-8B: +11,2.
• Kimi K3: +9,7.
• GPT-6 Astra: +9,9.
• GPT-6 Luna com medium effort contra o modelo base, o Codex e o Visual Sketchpad com effort máximo: vantagem de 7,7–8,5 pontos.
• Consumo de tokens do modelo: no máximo 37% do desses concorrentes.

Vale atentar para a dispersão. O compacto Qwen3-VL, de 8 bilhões de parâmetros, obtém +11,2, mais do que modelos fechados de ponta como o GPT-6 Astra (+9,9). Nos modelos menores, ferramentas e memória compensam em parte a falta de capacidade própria.

O que os desenvolvedores devem fazer com isso

A conclusão prática para quem constrói agentes visuais: quando a qualidade não é suficiente, vale primeiro rever a arquitetura em torno do modelo, em vez de aumentar o reasoning effort. A comparação com o Codex e o Visual Sketchpad mostra que esforço médio com ferramentas bem organizadas pode superar o esforço máximo sem elas, e com um custo cerca de três vezes menor em tokens.

Três práticas merecem ser adotadas desde já. Converter as saídas das ferramentas para um formato que o modelo leia sem perdas. Guardar imagens e dados intermediários como objetos endereçáveis, e não como resumos em texto. Dar ao modelo a possibilidade de calcular o resultado com código sobre os dados armazenados. Há uma ressalva: os números vêm da descrição dos próprios autores, e o material não traz verificações independentes. Por isso, convém conferi-los em tarefas próprias antes de colocar a solução em produção.