MisVisAgentBench: gráficos enganosos derrubam em 34 p.p. o sucesso de agentes web

Pesquisadores apresentaram no arXiv o MisVisAgentBench, o primeiro teste pareado e executável que mede como visualizações enganosas influenciam o comportamento de agentes web. O conjunto tem 280 instâncias de tarefas, organizadas em pares "gráfico honesto — gráfico distorcido". Em treze agentes vision-language, a troca do gráfico honesto pelo enganoso reduziu a taxa média de tarefas concluídas com sucesso em mais de 34 pontos percentuais.

Os agentes web abrem páginas, leem dashboards e executam ações em nome do usuário com cada vez mais autonomia. Para um agente assim, o gráfico não é a resposta final, mas uma evidência intermediária que sustenta o passo seguinte: o que escolher, o que confirmar, onde clicar. Se o gráfico distorce o quadro, o erro de leitura vira uma ação concreta. Os autores ressaltam que essa área da confiabilidade ainda é pouco estudada.

Em que isso difere do chart QA

Os testes clássicos de perguntas sobre gráficos terminam na resposta do modelo. Aqui, a resposta apenas dispara uma cadeia de execução. Além disso, não se trata de prompt injection: os gráficos distorcidos não trazem instruções maliciosas. Eles simplesmente apresentam os dados de um jeito que desvia o julgamento por conta própria, por meio da escolha de escala, de formato ou de ênfases.

A principal característica do desenho é que, em cada par, só a evidência gráfica muda. O restante da tarefa permanece igual. Isso permite atribuir a queda de desempenho ao engano visual, e não à dificuldade da tarefa. Para isso, os autores adicionaram uma estrutura de diagnóstico que separa as falhas causadas pela distorção da dificuldade básica da tarefa (com referência a Zhu et al., 2025).

Parâmetros do trabalho:

• 280 instâncias de tarefas em pares "gráfico honesto — gráfico distorcido";
• 13 agentes web vision-language na avaliação;
• queda de mais de 34 p.p. na taxa média de sucesso quando o gráfico é trocado;
• métricas de execução: passos extras de navegação e "hesitação" na tomada de decisão;
• o benchmark é executável: o agente age, em vez de apenas responder a perguntas.

Os erros seguem o mesmo caminho

A observação mais interessante não está no tamanho da queda, mas em sua estrutura. As falhas seguem principalmente o ramo de ação falso para o qual o gráfico distorcido foi projetado. Os agentes não falham de forma caótica: suas decisões são levadas sistematicamente para uma direção predefinida.

Para a segurança, isso pesa mais do que a porcentagem média. O ruído aleatório pode ser atenuado em parte com execuções repetidas ou com votação entre vários agentes. O viés direcionado não se resolve assim: todas as execuções chegam à mesma conclusão errada. Quem controla a apresentação dos dados na página potencialmente controla também as ações do agente, sem escrever um único comando.

Há também limitações. Trata-se de um preprint, e pelo resumo não é possível saber quais tipos de distorção entraram no conjunto, como os modelos diferem entre si e até que ponto os resultados se transferem para páginas reais. O número de 34 p.p. é uma média entre os treze agentes, de modo que, em sistemas individuais, a diferença pode ser bem menor ou maior.

O que fazer nas equipes que constroem agentes

Primeiro: incluir testes pareados na regressão. Se o agente toma decisões com base em gráficos, são necessárias tarefas em que os dados sejam os mesmos e a apresentação seja diferente. A queda entre as versões "honesta" e "distorcida" passa a ser uma métrica própria.

Segundo: não deixar o gráfico ser a única base para uma ação. Onde houver tabela de origem, API ou resumo em texto, o agente deve conferir com eles a conclusão tirada da imagem.

Terceiro: manter a confirmação humana nos passos irreversíveis, como pagamentos, publicações ou mudanças de configuração. Confiar na autoverificação do modelo é arriscado, já que os erros são direcionados.

Quarto: registrar em log o número de passos de navegação e os sinais de hesitação. Os autores os apontam como efeitos de execução, e esses sinais podem servir de indicador de que o agente se deparou com uma evidência visual estranha.