AgentVQA testou 22 VLMs em tarefas agênticas: a melhor chegou a apenas 58,5%

O melhor dos 22 modelos de visão e linguagem testados obteve apenas 58,5% de acurácia no novo benchmark AgentVQA. Trata-se de um conjunto offline de 1000 exemplos difíceis, selecionados manualmente a partir de 23 datasets de origem. Ele cobre cinco áreas em que as VLMs atuam como agentes: agentes web, robótica, vídeo em primeira pessoa, jogos e planejamento espacial. Os autores afirmam que o ranking dos modelos no AgentVQA repete o das avaliações online correspondentes. Isso indica que um teste rápido e barato pode substituir parte das execuções caras em simuladores.

Por que as avaliações online de agentes esbarram no custo

As VLMs fazem muita coisa: descrevem imagens, leem interfaces, respondem a perguntas sobre vídeos. Mas o comportamento delas dentro de um ciclo agêntico, em que é preciso olhar para a tela ou a cena, escolher uma ação e ver as consequências, é muito menos conhecido. O jeito direto de verificar isso é a avaliação online, em simulador ou em ambiente real. Ela é necessária, mas cara, escala devagar e produz resultados difíceis de comparar entre equipes.

Benchmarks offline de perguntas e respostas (VQA) poderiam preencher essa lacuna. Segundo os autores do AgentVQA, os conjuntos existentes são fragmentados e limitados: cada um cobre um domínio estreito, e não há uma escala comum para cenários agênticos. O AgentVQA tenta reunir essa escala em um único conjunto.

Como foram reunidos mil exemplos "difíceis"

A equipe não coletou os dados de forma automática. Ela escolheu os exemplos manualmente em 23 fontes, com o critério de que fossem cenas realistas e realmente complexas, vindas de ambientes interativos. Depois, os exemplos foram adaptados para que pudessem ser avaliados com confiabilidade sem executar o ambiente. Uma situação real de uma tarefa interativa vira uma pergunta com resposta verificável, e o contexto original é preservado.

O principal argumento a favor dessa metodologia é a correlação com os resultados online. Se o modelo A supera o modelo B no simulador, em geral ele também o supera no AgentVQA. Para os laboratórios, isso significa um indicador rápido de progresso. Para os clientes, é uma forma de comparar modelos antes de uma integração cara.

Parâmetros principais do benchmark:

• 1000 exemplos selecionados manualmente;
• 23 datasets de origem;
• cinco domínios: agentes web, robótica, vídeo em primeira pessoa, jogos, planejamento espacial;
• 22 modelos avaliados;
• melhor resultado: 58,5% de acurácia;
• o ranking dos modelos é consistente com as avaliações online.

Onde os modelos falham: na percepção, não na lógica

A parte mais interessante do trabalho é a análise de erros entre domínios. Os autores examinaram por que os modelos erram e concluíram que a causa não é um entendimento equivocado da tarefa nem um raciocínio fraco no passo seguinte. O problema central está em ancorar a pergunta na imagem e manter uma representação precisa do estado visual atual, que muda ao longo do tempo.

Concretamente, são quatro tipos de falha:

• localizar os elementos de interface necessários na tela;
• interpretar movimento;
• acompanhar mudanças de estado ao longo do tempo;
• inferir relações espaciais tridimensionais.

As quatro aparecem em domínios diferentes. O agente web precisa achar um botão; o robô, entender para onde um objeto se deslocou; o agente de jogo, não perder de vista o que mudou entre os quadros; e o planejador, avaliar a posição relativa dos objetos em 3D. A raiz dessas tarefas é a mesma: a percepção continua sendo o gargalo.

O que as equipes que constroem agentes devem fazer

A primeira conclusão prática: ampliar a capacidade de raciocínio do modelo não basta se, na entrada, ele enxerga a cena de forma incorreta. Vale melhorar justamente a ancoragem visual, com treinamento em dados que tenham localização precisa de elementos, vídeos com dinâmica, sequências de estados e anotação espacial.

A segunda conclusão diz respeito ao processo de desenvolvimento. O AgentVQA pode servir como filtro preliminar rápido: rodar os candidatos offline, manter os melhores e enviar só esses para os ambientes online caros. A correlação com os rankings online torna essa abordagem sensata, embora ela não elimine a verificação final em ambiente real.

A terceira conclusão é para quem escolhe um modelo para um produto. O resultado de 58,5% do líder entre 22 modelos mostra que, em cenários agênticos complexos, as VLMs atuais estão longe de ser confiáveis. Se o agente precisa clicar em interfaces, controlar um robô ou planejar no espaço, será necessário incluir verificações de percepção, mecanismos de rollback e participação humana nas etapas críticas. A divisão dos erros por tipo, além disso, indica para onde direcionar primeiro o esforço de engenharia.