Un nouveau benchmark vérifie si les images générées par IA respectent les lois de la physique

Une image générée peut obtenir de bons scores d'esthétique, de fidélité au prompt et de préférence humaine. Elle peut pourtant montrer une main avec une articulation en trop, une chaise fondue dans une table ou une ombre qui tombe à contre-jour. Les chercheurs, dont le média chinois Jiqizhixin rapporte les travaux, y voient un angle mort de l'évaluation des modèles text-to-image et proposent un test distinct de « cohérence avec le monde ».

Ce test doit indiquer si l'image respecte les contraintes du monde réel. Le fragment disponible de la publication ne mentionne ni le nom du benchmark, ni la liste des modèles testés, ni les scores finaux. Cet article présente donc la formulation du problème, et non des résultats.

Où les métriques habituelles échouent

Le dispositif standard d'évaluation de la génération d'images se compose généralement de trois éléments : un score esthétique, la concordance avec la requête textuelle et un modèle qui imite le goût humain. Tous trois examinent l'image dans son ensemble. Ils cherchent à savoir si elle est belle, si elle correspond au sujet demandé et si elle plaira aux gens.

Avec cette approche, les petites violations physiques passent facilement inaperçues. La composition d'ensemble est bonne, l'éclairage agréable, les objets du prompt sont présents. La métrique attribue un score élevé. Mais un spectateur qui regarde de plus près constate qu'une fourchette s'enfonce dans l'assiette ou qu'un personnage à l'arrière-plan a trois jambes. Les auteurs posent la question sans détour : les objets, leurs interactions et leurs relations spatiales correspondent-ils aux contraintes du monde réel ? Selon eux, il manque une mesure systématique pour y répondre, ce qui rend le problème difficile à comparer quantitativement d'un modèle à l'autre.

Ce que le test propose de vérifier

D'après la description, la « cohérence avec le monde » recouvre trois couches de l'image :

• Objets. Conservent-ils une forme et une structure plausibles, anatomie comprise ? Les membres déformés figurent parmi les erreurs typiques citées.
• Interactions. Les objets ne s'interpénètrent-ils pas, et leurs contacts sont-ils corrects ?
• Relations spatiales. La position, l'échelle et les chevauchements des objets sont-ils cohérents avec l'organisation d'une scène réelle ?
• Phénomènes physiques. Les lois évidentes, que le spectateur perçoit intuitivement, sont-elles respectées ?

L'idée centrale est qu'il s'agit d'un axe d'évaluation distinct, indépendant de la beauté et du respect du prompt. Un modèle peut être performant sur les deux premiers critères et faible sur le troisième. Seule la mesure des trois permet de voir un tel écart.

Comment l'utiliser en pratique

Pour les équipes qui choisissent ou affinent des modèles génératifs, la conclusion est simple : un score agrégé unique ne suffit pas. Si les images servent à la publicité, à l'e-commerce, à l'illustration de contenus ou à la constitution de jeux de données synthétiques, les artefacts physiques deviennent un risque direct. Les acheteurs les remarquent, et dans les données d'entraînement, ils s'ancrent comme une norme.

Dans un flux de travail, il est utile d'ajouter aux métriques automatiques au moins un contrôle manuel par échantillonnage selon les couches énumérées : anatomie, contacts entre objets, géométrie de la scène. Quand ce benchmark sera disponible en accès libre, il faudra l'exécuter sur ses propres modèles et comparer les résultats aux classements habituels. Si l'ordre des modèles change, c'est que les anciennes métriques ne mesuraient pas tout ce qui compte.

Il faut par ailleurs attendre le texte complet de l'étude. On ignore pour l'instant comment l'annotation est conçue, si l'évaluation est automatisée et dans quelle mesure elle concorde avec l'avis des humains. De ces points dépend le statut du test : standard de travail ou simple recueil d'exemples académiques.