ImagingBench revela las debilidades de Gemini, GPT y Qwen en tareas de procesamiento de imágenes basadas en física

Un grupo de investigadores ha presentado ImagingBench, un benchmark sistemático para evaluar la capacidad de los modelos de visión y lenguaje (VLM) y de la IA agéntica en tareas de fotografía computacional y procesamiento de imágenes. El benchmark incluye 20 tareas repartidas en cinco categorías: óptica geométrica y óptica ondulatoria, procesamiento de señales de imagen, reconstrucción inversa, computational sensing y calibración.

Qué mostró el benchmark

Las pruebas con los principales sistemas multimodales propietarios y abiertos, entre ellos Gemini 3.1, GPT-5 y Qwen, indicaron que los modelos agénticos pierden de forma sistemática frente a los métodos especializados. Las diferencias son especialmente claras en tareas de computational sensing como la visualización sin lentes, la reconstrucción basada en eventos, la visualización time-of-flight y la holografía.

• 20 tareas de fotografía computacional en el benchmark
• Se evaluaron Gemini, GPT-5, Qwen y otros VLM
• La guía agéntica (Planner) solo aportó mejoras modestas
• Resultados visualmente plausibles, pero físicamente inexactos

La brecha entre semántica y física

Los modelos suelen generar resultados visualmente aceptables, que parecen correctos al ojo humano, pero que obtienen una calidad baja en métricas basadas en referencia. Esto deja al descubierto una enorme brecha entre la capacidad de los modelos para abordar tareas visuales semánticas (qué ven) y la visualización con fundamento físico (cómo funcionan los sistemas físicos).

Próximos pasos

ImagingBench ofrece un banco de pruebas unificado para medir el progreso de la IA agéntica en fotografía computacional. Permite a los investigadores seguir de forma sistemática cómo mejora la capacidad de los LLM actuales para comprender y resolver problemas físicos, a diferencia de los puramente semánticos.

Qué significa

Los resultados muestran que los LLM actuales funcionan bien en tareas visuales semánticas, pero siguen sin estar suficientemente adaptados a problemas con fundamento físico. Esto abre nuevas vías para mejorar los modelos y apunta a la necesidad de enfoques especializados en fotografía computacional, incluso en la era de los agentes de IA generales.