ImagingBench expõe fraquezas de Gemini, GPT e Qwen em tarefas de processamento de imagem baseadas em física

Pesquisadores apresentaram o ImagingBench, um benchmark sistemático para avaliar modelos de visão e linguagem (VLMs) e IA agêntica em tarefas de fotografia computacional e processamento de imagens. O benchmark reúne 20 tarefas em cinco categorias: óptica geométrica e óptica ondulatória, processamento de sinais de imagem, reconstrução inversa, computational sensing e calibração.

O que o benchmark mostrou

Testes com os principais sistemas multimodais proprietários e abertos, incluindo Gemini 3.1, GPT-5 e Qwen, mostraram que os modelos agênticos perdem de forma consistente para métodos especializados. As diferenças são especialmente nítidas em tarefas de computational sensing, como imagem sem lente, reconstrução baseada em eventos, imagem time-of-flight e holografia.

• 20 tarefas de fotografia computacional no benchmark
• Foram testados Gemini, GPT-5, Qwen e outros VLMs
• A orientação agêntica (Planner) trouxe apenas melhorias modestas
• Resultados visualmente plausíveis, mas fisicamente imprecisos

A distância entre semântica e física

Os modelos costumam gerar resultados visualmente aceitáveis, que parecem corretos ao olho humano, mas apresentam baixa qualidade em métricas baseadas em referência. Isso revela um enorme abismo entre a capacidade dos modelos de lidar com tarefas visuais semânticas (o que eles veem) e a geração de imagens com base física (como os sistemas físicos funcionam).

Próximos passos

O ImagingBench oferece uma bancada de testes unificada para medir o progresso da IA agêntica em fotografia computacional. Ele permite que pesquisadores acompanhem de forma sistemática a evolução da capacidade dos LLMs atuais de entender e resolver problemas físicos, em contraste com os puramente semânticos.

O que isso significa

Os resultados mostram que os LLMs atuais vão bem em tarefas visuais semânticas, mas continuam pouco adaptados a problemas com base física. Isso abre novos caminhos para melhorar os modelos e aponta a necessidade de abordagens especializadas em fotografia computacional, mesmo na era dos agentes de IA generalistas.