TerraAgent verifica se a IA realmente olha a imagem: alucinações caem de 17,1% para 9,8%

Os autores do TerraAgent atacaram um problema que a acurácia convencional não enxerga: um modelo pode responder corretamente a uma pergunta sobre uma imagem de satélite sem nunca ter se apoiado na própria imagem. O framework (chamado de AVA no texto do artigo) envolve um modelo multimodal congelado para sensoriamento remoto com três módulos e não exige fine-tuning. Nos benchmarks RSVQA-LR, RSVQA-HR, VRSBench e LHRS-Bench, a acurácia média subiu no máximo 2,40 pontos em relação aos métodos de base mais fortes, em condições comparáveis. A fatia de respostas construídas apenas com conhecimento prévio caiu de 46,2% para 21,7%. A taxa de alucinações diminuiu de 17,1% para 9,8%.

Acurácia que não prova nada

Em RS-VQA, perguntas como “há um corpo d’água perto da estrada” costumam ter respostas previsíveis. O modelo sabe como cidades e áreas rurais normalmente se parecem e chuta com base em estatística. A métrica de acurácia contabiliza esse acerto por sorte como sucesso.

Os autores apontam três fontes de problemas. Primeiro, os exemplos para aprendizado in-context, escolhidos de fontes diversas, combinam mal em resolução (GSD), tipo de sensor e textura urbana. Segundo, consultas reais trazem um contexto visual longo: tiles de escalas diferentes, imagens de datas distintas, dados de referência recuperados.

Nesse volume, as evidências se diluem e os erros se acumulam ao longo da cadeia de raciocínio. Por fim, as métricas padrão simplesmente não registram uma resposta dada sem apoio na imagem.

Três módulos em torno de um único modelo

O GDR cuida da seleção de demonstrações. Ele agrupa os candidatos por GSD, busca por eles usando grafos de cena e descarta aqueles cujas respostas não são confirmadas pelas próprias imagens. Assim, um exemplo ruim deixa de induzir o modelo a uma referência errada.

O MACE decompõe a consulta em um grafo acíclico dirigido de subperguntas, cada uma com o tipo de evidência necessário. As subperguntas são encaminhadas para as ferramentas de percepção adequadas. Os resultados verificados, com indicação de origem, são gravados em um registro comum de evidências, e o número de tentativas de nova percepção é limitado. Dessa forma, o contexto longo vira um conjunto de passos curtos e verificáveis.

O CVA funciona como auditor. Ele pega as evidências citadas na resposta final e as perturba: remove ou substitui. Se a resposta não muda, ela não está ancorada na imagem. Com isso, calcula-se uma pontuação de dependência visual, usada para calibrar a confiança e para disparar uma nova consulta que força o modelo a recorrer às evidências.

O que as medições mostraram

• Acurácia média: até +2,40 pontos sobre os métodos de base mais fortes, nas mesmas condições.
• Visual-dependency score: de 0,28 para 0,49.
• Fatia de respostas prior-only: de 46,2% para 21,7%.
• Taxa de alucinações: de 17,1% para 9,8%.
• Custo: 2,6x de uma passagem do modelo base.
• Treinamento: não é necessário; a MLLM base permanece congelada.

O ganho de acurácia é modesto. O resultado principal está em outro ponto: quase metade a menos de respostas que o modelo dá sem olhar para a imagem.

Onde isso pode ser útil e o que verificar

Os cenários mais evidentes são monitoramento de infraestrutura, avaliação de danos após enchentes e incêndios, agricultura e planejamento urbano. Nessas áreas, uma resposta dada “por hábito” pode sair cara, e o registro de evidências junto com a pontuação de dependência visual oferece uma base para auditoria. A abordagem pode ser transferida para outros modelos congelados, caso seja preciso checar o apoio na imagem sem fine-tuning.

Há limitações também. Os resultados vêm de quatro benchmarks acadêmicos, e não de dados fechados de produção. O custo de 2,6 passagens pesa no processamento em massa de imagens. A verificação contrafactual só é útil na medida em que o modelo indica com precisão em quais evidências se apoiou. Antes de adotar a solução, vale medir a visual-dependency com dados próprios e comparar o ganho de confiabilidade com o aumento de latência e de custo.