RAP réunit 25 000 paires article–poster pour apprendre à l'IA à mettre en page des posters en HTML/CSS

Des chercheurs ont présenté RAP (Reconstruct A Poster), un jeu de données et un benchmark qui transforment la création d'un poster scientifique en tâche de codage visuel. Le corpus compte plus de 25 000 paires « article – poster » vérifiées, issues de conférences de ML 2022–2026. Il comprend aussi un jeu de test réservé : 150 articles, dont chacun conserve le poster réalisé par ses auteurs. Chaque poster a été automatiquement converti en HTML/CSS, si bien qu'un échantillon prend la forme d'un triplet « article – poster – balisage ».

Pourquoi le poster

Les auteurs décrivent le poster comme du codage visuel en miniature : il faut condenser tout un article sur une seule page. Pour cela, le modèle doit à la fois résumer le texte, prendre des décisions de design et écrire du code, avec pour seule matière première l'article lui-même.

Or les benchmarks pour cette tâche sont rares. Les jeux existants sont de petite taille, et leurs annotations se limitent aux contours des blocs de la mise en page. L'évaluation repose donc soit sur un VLM utilisé comme juge, soit sur des humains armés de check-lists. Il n'existe pas de comparaison objective du type « on fait le rendu et on confronte à la référence ». Un second problème se pose : sur ces données, les méthodes conçoivent la mise en page de zéro, et les posters d'auteurs déjà réalisés ne servent ni de bibliothèque de design pour la recherche, ni de jeu d'entraînement vérifié.

Comment fonctionne RAP

Au centre du pipeline se trouve un dé-rendu (de-rendering) entièrement automatique. Chaque poster est converti en HTML/CSS stylisé, avec des slots typés qui peuvent être remplis à nouveau. Comme le balisage provient d'un poster réel, on peut en faire le rendu et le comparer à l'original. Chaque échantillon est ainsi vérifiable.

Par ailleurs, toutes les paires sont annotées selon une taxonomie de contenu à trois niveaux. La description ne précise pas comment ces niveaux sont structurés.

• Volume : plus de 25 000 paires « article – poster » issues de conférences 2022–2026.
• Test : 150 articles réservés, chacun accompagné d'un poster réalisé par un humain.
• Format : triplet « article – poster – balisage », vérifiable par rendu.
• Balisage : HTML/CSS avec des slots typés à remplir de nouveau.
• Taxonomie : trois niveaux de description du contenu.

Deux façons d'exploiter le corpus

Sur les mêmes données, les auteurs présentent deux approches. La première est PosterRAG, un pipeline multi-agents sans fine-tuning. Il repère dans le corpus un poster d'auteur adapté et remplit à nouveau ses slots avec le contenu du nouvel article. La mise en page et les styles ne changent pas. Le design vient des humains, et le modèle se charge du contenu.

La seconde approche est une recette SFT+RL : un modèle dédié est entraîné à partir des mêmes triplets. Le fine-tuning supervisé lui donne la compétence de base pour écrire le balisage d'un poster, puis l'apprentissage par renforcement améliore le résultat. La vérification par rendu peut ici servir de signal objectif. Il s'agit d'une hypothèse, et non d'un fait affirmé dans l'abstract. Une démo en ligne est également disponible sur reconstruct-a-poster.github.io.

L'abstract ne donne aucun chiffre de qualité : ni comparaison de PosterRAG avec une génération « à partir de zéro », ni résultats du modèle entraîné. Pour l'instant, la valeur du travail réside dans les données et dans la formulation de la tâche. La solidité des méthodes proposées ne sera connue qu'à la lecture de l'article complet.

À quoi cela peut servir

Pour les chercheurs qui travaillent sur la génération de documents et d'interfaces, RAP apporte une chose rare : une référence à laquelle comparer automatiquement un résultat. Inutile de réunir un panel d'experts ni de s'en remettre à l'évaluation d'un autre modèle. L'approche « trouver un bon modèle et remplir les slots » se transpose à des formats voisins : slides, landing pages, rapports, infographies.

Pour les auteurs d'articles, l'intérêt pratique reste pour l'instant modeste : la démo permet surtout de voir à quoi ressemble un poster assemblé automatiquement. Mais avec un corpus prêt à l'emploi et une recette d'entraînement ouverte, des outils pour les conférences devraient probablement apparaître vite. Ceux qui construisent des pipelines agentiques ont intérêt à regarder le schéma de PosterRAG. Il sépare le design du contenu et réduit ainsi le risque de mise en page cassée dont souffre la génération de mise en page à partir de zéro.