ImagingBench revelou fraquezas de Gemini, GPT e Qwen em tarefas físicas de processamento de imagens

Os pesquisadores apresentaram ImagingBench — um parâmetro sistemático para avaliar as capacidades de modelos de visão-linguagem (VLMs) e IA agente na resolução de tarefas de fotografia computacional e processamento de imagens. O parâmetro inclui 20 tarefas cobrindo cinco categorias: óptica de raio e óptica de onda, processamento de sinais de imagem, reconstrução inversa, detecção computacional e calibração.

O que o parâmetro revelou

O teste de sistemas multimodais proprietários e abertos líderes, incluindo Gemini 3.1, GPT-5 e Qwen, mostrou que modelos agentes têm desempenho consistentemente inferior aos métodos especializados. As diferenças são particularmente notáveis em tarefas de detecção computacional, como imagem sem lentes, reconstrução baseada em eventos, imagem de tempo de voo e holografia.

• 20 tarefas de fotografia computacional no parâmetro
• Testados Gemini, GPT-5, Qwen e outros VLMs
• Orientação agente (Planner) proporcionou apenas melhorias modestas
• Resultados visualmente plausíveis mas fisicamente imprecisos

A lacuna entre semântica e física

Os modelos frequentemente geram resultados visualmente aceitáveis que parecem corretos ao olho humano, mas quando verificados em métricas baseadas em referência mostram baixa qualidade. Isso revela uma lacuna massiva entre a capacidade dos modelos de trabalhar com tarefas visuais semânticas (o que eles veem) e visualização fundamentada fisicamente (como os sistemas físicos funcionam).

Roteiro de desenvolvimento

ImagingBench fornece um banco de testes unificado para medir o progresso da IA agente em fotografia computacional. Isso permite que pesquisadores rastreiem sistematicamente melhorias na capacidade de modelos LLM modernos entender e resolver tarefas físicas em contraste com puramente semânticas.

O que isso significa

A descoberta mostra que os modelos LLM atuais funcionam bem com tarefas visuais semânticas, mas permanecem insuficientemente adaptados a problemas fundamentados fisicamente. Isso abre novas direções para aprimoramento do modelo e aponta para a necessidade de abordagens especializadas em fotografia computacional, mesmo na era de agentes de IA de uso geral.