ImagingBench met en lumière les faiblesses de Gemini, GPT et Qwen sur les tâches d'imagerie à fondement physique

Des chercheurs ont présenté ImagingBench, un benchmark systématique pour évaluer les modèles vision-langage (VLM) et l'IA agentique sur des tâches de photographie computationnelle et de traitement d'images. Le benchmark comprend 20 tâches réparties en cinq catégories : optique géométrique et optique ondulatoire, traitement du signal d'image, reconstruction inverse, computational sensing et calibration.

Ce que le benchmark a montré

Les tests menés sur les principaux systèmes multimodaux propriétaires et ouverts, dont Gemini 3.1, GPT-5 et Qwen, montrent que les modèles agentiques se font systématiquement devancer par les méthodes spécialisées. Les écarts sont particulièrement marqués sur les tâches de computational sensing comme l'imagerie sans lentille, la reconstruction événementielle, l'imagerie time-of-flight et l'holographie.

• 20 tâches de photographie computationnelle dans le benchmark
• Gemini, GPT-5, Qwen et d'autres VLM ont été testés
• Le guidage agentique (Planner) n'a apporté que des améliorations modestes
• Des résultats visuellement plausibles, mais physiquement inexacts

Le fossé entre sémantique et physique

Les modèles génèrent souvent des résultats visuellement acceptables, qui semblent corrects à l'œil humain, mais dont la qualité est faible sur les métriques fondées sur une référence. Cela révèle un énorme fossé entre la capacité des modèles à traiter des tâches visuelles sémantiques (ce qu'ils voient) et l'imagerie à fondement physique (comment fonctionnent les systèmes physiques).

Prochaines étapes

ImagingBench fournit un banc d'essai unifié pour mesurer les progrès de l'IA agentique en photographie computationnelle. Il permet aux chercheurs de suivre systématiquement l'amélioration de la capacité des LLM actuels à comprendre et à résoudre des problèmes physiques, par opposition aux problèmes purement sémantiques.

Ce que cela signifie

Les résultats montrent que les LLM actuels se débrouillent bien sur les tâches visuelles sémantiques, mais restent insuffisamment adaptés aux problèmes à fondement physique. Cela ouvre de nouvelles pistes pour améliorer les modèles et souligne la nécessité d'approches spécialisées en photographie computationnelle, même à l'ère des agents d'IA généralistes.