Un nuevo benchmark comprueba si las imágenes de IA obedecen las leyes de la física

Una imagen generada puede obtener buenas puntuaciones en estética, ajuste al prompt y preferencias humanas. Y aun así mostrar una mano con una articulación de más, una silla incrustada en una mesa o una sombra que cae en contra de la luz. Los investigadores, cuyo trabajo recoge el medio chino Jiqizhixin, lo describen como un punto ciego en la evaluación de los modelos text-to-image y proponen un test específico de «coherencia con el mundo».

Este test debe mostrar si la imagen respeta las restricciones del mundo real. En el fragmento disponible de la publicación no aparece el nombre del benchmark, ni la lista de modelos evaluados, ni las puntuaciones finales. Por eso, a continuación se analiza el planteamiento del problema, no los resultados.

Dónde fallan las métricas habituales

El conjunto estándar para evaluar la generación de imágenes suele constar de tres partes: una puntuación estética, la concordancia con la solicitud de texto y un modelo que imita el gusto humano. Las tres miran la imagen en su conjunto. Les interesa si es bonita, si trata del tema pedido y si gustará a la gente.

Con este enfoque, las pequeñas infracciones físicas pasan inadvertidas. La composición general es buena, la iluminación agrada y los objetos del prompt están en su sitio. La métrica da una puntuación alta. Pero el espectador, al fijarse, nota que un tenedor se hunde en el plato o que una persona del fondo tiene tres piernas. Los autores formulan la pregunta sin rodeos: ¿corresponden los objetos, sus interacciones y sus relaciones espaciales a las restricciones del mundo real? Según su valoración, falta una medición sistemática para responderla, y por eso resulta difícil comparar el problema de forma cuantitativa entre modelos.

Qué se propone comprobar

Según la descripción, la «coherencia con el mundo» abarca tres capas de la imagen:

• Objetos. Si conservan una forma y una estructura verosímiles, incluida la anatomía: las extremidades deformadas figuran entre los errores típicos.
• Interacciones. Si los objetos no se penetran entre sí y si entran en contacto de forma correcta.
• Relaciones espaciales. Si la posición, la escala y los solapamientos de los objetos concuerdan con cómo está organizada una escena real.
• Fenómenos físicos. Si no se vulneran leyes evidentes que el espectador percibe de forma intuitiva.

La idea principal es que se trata de un eje de evaluación independiente, ajeno a la belleza y al seguimiento del prompt. Un modelo puede ser sólido en los dos primeros y débil en el tercero. Solo midiendo los tres se puede ver esa brecha.

Cómo aplicarlo en la práctica

Para los equipos que eligen o ajustan modelos generativos, la conclusión es sencilla: una única puntuación agregada no basta. Si las imágenes se destinan a publicidad, e-commerce, ilustraciones para contenidos o datasets sintéticos, los artefactos físicos se convierten en un riesgo directo. El comprador los nota y, en los datos de entrenamiento, se consolidan como norma.

En el flujo de trabajo conviene añadir a las métricas automáticas, al menos, una revisión manual por muestreo según las capas citadas: anatomía, contactos entre objetos y geometría de la escena. Cuando un benchmark así se publique en acceso abierto, merece la pena ejecutarlo sobre los propios modelos y compararlo con los rankings habituales. Si cambia el orden de los modelos, significa que las métricas anteriores no medían todo lo importante.

Además, conviene esperar al texto completo del estudio. Por ahora se desconoce cómo está diseñado el etiquetado, si la evaluación está automatizada y en qué medida coincide con la opinión de las personas. De ello depende que el test se convierta en un estándar de trabajo o se quede en un conjunto académico de ejemplos.