Des chercheurs publient un jeu de données de 100 000 articles illustrés et un benchmark de 7 métriques

Lorsqu'un modèle d'IA reçoit la requête « explique-moi comment préparer un risotto », une bonne réponse ne se limite pas à du texte. Il faut des étapes et des photos montrant l'aspect du riz à chaque stade. On parle de modèles multimodaux unifiés : ils savent à la fois écrire et dessiner.

Mais presque personne n'a évalué de façon systématique leur capacité à alterner texte et images au sein d'une même réponse (l'article parle d'interleaved generation). Des chercheurs de l'université de Nankin, de Meituan, de l'Imperial College London et de l'Université technologique de Nanyang publient IntReal. Il s'agit d'un jeu de données de 100 000 exemples réels comprenant 538 452 images, assorti d'un benchmark à sept métriques qui montrent précisément où se situent les faiblesses d'un modèle.

D'où viennent les données et pourquoi 90% ont été écartées

Les auteurs ont rassemblé plus d'un million d'exemples bruts issus de sept sources qui autorisent la collecte et la diffusion publiques. Selon le rôle du texte et des images, ils ont réparti les contenus en quatre catégories :

• planification : des décisions adaptées à des objectifs et des contraintes précis, par exemple un itinéraire de voyage avec cartes et photos ; • connaissances : des articles encyclopédiques où l'image rattache un concept abstrait à un objet réel ; • instructions : des tutoriels de cuisine et d'autres domaines, où les images montrent les états intermédiaires ; • histoires : des récits où les images créent personnages et scènes (l'idée s'inspire du projet SEED-Story).

Le nettoyage s'est déroulé en quatre étapes. D'abord, les auteurs ont écarté les images aux proportions aberrantes, de faible résolution ou dans un format non pris en charge. Ensuite, le modèle d'évaluation de la qualité RALI a éliminé les mauvaises images, tandis que des classifieurs affinés à partir de SigLIP2 ont repéré les filigranes et les visages.

Le modèle DINOv3 a supprimé les images quasi identiques au sein d'un même exemple. À la troisième étape, le modèle de langage Qwen3.5-397B-A17B a rédigé les légendes des images et retouché le texte environnant.

Le texte d'origine reste prioritaire sur le texte généré, afin de ne pas perdre de faits. À la quatrième étape, il a composé pour chaque exemple une requête et une chaîne de raisonnement, de sorte que les données soient directement exploitables pour l'affinage.

Un seul défaut dans un long exemple suffit à écarter l'exemple entier. Au final, il reste donc environ 10% des données collectées, et les catégories ont été équilibrées en volume.

Sept métriques plutôt qu'une note « globale »

Habituellement, une longue réponse illustrée est confiée à un seul modèle multimodal faisant office de juge. Les auteurs estiment que cette méthode ne permet pas de comprendre où le modèle se trompe, et qu'un juge généraliste n'est pas toujours compétent sur les détails. Dans IntReal, chaque compétence a son propre expert.

Le test repose sur 600 exemples du jeu de données, soit 150 par catégorie. Pour chacun, le modèle passe deux modes. Dans le premier, il génère l'intégralité de la réponse à partir de zéro. Dans le second, on lui fournit un contexte réel composé de texte et d'images et on lui demande de dessiner l'image suivante. Chaque modèle doit produire plus de 6 000 images insérées dans du texte ; les auteurs ont donc volontairement gardé un jeu de test compact.

Les sept métriques :

• richesse du texte : un modèle de langage compare par paires la réponse au texte réel ; • exactitude factuelle : le même modèle recherche les erreurs, les contradictions et les failles logiques ; • esthétique des images : un modèle d'évaluation de la qualité des images ; • répétitions : similarité des features DINO entre images voisines ; une valeur trop élevée signifie que le modèle a « dessiné la même chose » ; • nombre d'images : le modèle doit produire autant d'illustrations que l'exemple réel ; • cohérence avec le contexte : un modèle multimodal vérifie si les exigences visuelles, déduites au préalable du texte et des images précédents, sont respectées ; • constance de l'objet : similarité avec la référence selon DINO, pour que le héros d'une histoire ou l'ingrédient d'une recette ne change pas d'une image à l'autre. Cette métrique ne s'applique qu'aux histoires et aux instructions.

Validation du test lui-même : la corrélation de Spearman par paires entre métriques ne dépasse pas 0,42, ce qui signifie qu'elles mesurent des choses différentes. La concordance avec le jugement humain atteint 83,3%. Lorsqu'on change les modèles experts, les résultats restent cohérents, avec une corrélation supérieure à 0,9.

Ce que montrent les expériences

Les auteurs ont comparé quatre familles de modèles. Pour la première, le checkpoint ouvert ne sait pas alterner texte et images par lui-même ; elle n'a donc été évaluée qu'après affinage sur IntReal-100K. La deuxième en est capable, mais n'a pas publié de méthodes d'affinage ; elle a été prise telle quelle. La troisième, SenseNova-U1, prend en charge les deux scénarios et existe en deux variantes : 8B-MoT et A3B-MoT. Dans les deux cas, la branche de génération compte 8 milliards de paramètres, tandis que le bloc de compréhension en compte soit 8 milliards, soit 30 milliards avec une architecture de mélange d'experts. Le quatrième modèle est fermé et accessible via API.

L'affinage supervisé classique sur IntReal-100K a amélioré la génération de texte de SenseNova-U1, mais dégradé une partie des indicateurs liés aux images. C'est un problème ancien de ces modèles : le texte et les images tirent les poids dans des directions opposées.

Le remède s'est révélé inattendu. Les auteurs ont appliqué Flow-GRPO, une méthode d'apprentissage par renforcement pour les modèles génératifs, uniquement à la tâche « dessiner l'image suivante à partir du contexte ». Les métriques d'IntReal servaient de récompense. Cela a rétabli la qualité d'image perdue, et le modèle a obtenu le meilleur score global parmi les modèles ouverts du test.

Enseignement pratique pour les ingénieurs : il n'est pas nécessaire d'entraîner texte et images ensemble à chaque étape. On peut optimiser une seule modalité et en tirer un gain sur les réponses mixtes. Pour les équipes qui développent des assistants IA pour des tutoriels, des guides de voyage et des supports pédagogiques, IntReal fournit un jeu de données prêt à l'emploi et un test de diagnostic pour voir précisément où le modèle déraille.