RAP собрал 25 тысяч пар статья–постер и учит ИИ верстать постеры в HTML/CSS

Исследователи представили RAP (Reconstruct A Poster) — датасет и бенчмарк, который превращает создание научного постера в задачу визуального кодинга. В корпусе более 25 тысяч проверенных пар «статья — постер» с ML-конференций 2022–2026 годов. Есть и отложенный тест: 150 статей, у каждой из которых сохранён авторский постер. Каждый постер автоматически переведён в HTML/CSS, так что образец представляет собой тройку «статья — постер — разметка».

Почему именно постер

Авторы называют постер визуальным кодингом в миниатюре. Всю статью нужно ужать до одной страницы. Для этого модели приходится одновременно суммировать текст, принимать дизайнерские решения и писать код, а исходным материалом служит только сама статья.

При этом бенчмарков для такой задачи мало. Существующие наборы невелики, а аннотации в них ограничены рамками блоков макета. Из-за этого качество приходится оценивать либо VLM в роли судьи, либо людям по чек-листам. Объективного сравнения «отрендерили и сопоставили с эталоном» нет. Есть и вторая проблема: методы на таких данных проектируют макет с нуля, а готовые авторские постеры не используются ни как библиотека дизайна для поиска, ни как проверенная обучающая выборка.

Как устроен RAP

Центр конвейера — полностью автоматическая деренедеризация. Каждый постер превращается в стилизованный HTML/CSS с типизированными слотами, которые можно заполнять заново. Раз разметка получена из реального постера, её можно отрендерить и сопоставить с оригиналом. Так каждый образец проверяем.

Дополнительно все пары размечены трёхуровневой таксономией содержимого. Как именно устроены уровни, в описании не раскрывается.

• Объём: 25 тысяч+ пар «статья — постер» с конференций 2022–2026 годов.
• Тест: 150 отложенных статей, у каждой есть постер, сделанный человеком.
• Формат: тройка «статья — постер — разметка», проверяемая рендером.
• Разметка: HTML/CSS с типизированными слотами для повторного заполнения.
• Таксономия: три уровня описания содержимого.

Два способа использовать корпус

На одних и тех же данных авторы показывают два подхода. Первый — PosterRAG, мультиагентный конвейер без дообучения. Он находит в корпусе подходящий авторский постер и перезаполняет его слоты содержимым новой статьи. Макет и стили при этом не меняются. Дизайн берётся у людей, а модель отвечает за содержание.

Второй подход — рецепт SFT+RL: из тех же троек обучается отдельная модель. Контролируемое дообучение даёт ей базовое умение писать разметку постера, а обучение с подкреплением улучшает результат. Здесь проверка рендером может служить объективным сигналом. Это предположение, а не заявленный в аннотации факт. Есть и онлайн-демо на reconstruct-a-poster.github.io.

Чисел качества в аннотации нет: ни сравнения PosterRAG с генерацией «с нуля», ни результатов обученной модели. Пока ценность работы в данных и в постановке задачи. Насколько сильны предложенные методы, станет ясно из полной статьи.

Где это пригодится

Исследователям, которые занимаются генерацией документов и интерфейсов, RAP даёт редкую вещь: эталон, с которым результат можно сравнить автоматически. Не нужно собирать панель экспертов и не нужно доверять оценке другой модели. Подход «найти хороший образец и заполнить слоты» переносится на соседние форматы: слайды, лендинги, отчёты, инфографику.

Авторам статей практическая польза пока скромнее: демо позволяет оценить, как выглядит автоматически собранный постер. Но с готовым корпусом и открытым рецептом обучения инструменты для конференций, вероятно, появятся быстро. Тем, кто строит агентные конвейеры, стоит присмотреться к схеме PosterRAG. Она отделяет дизайн от содержания и этим снижает риск сломанной вёрстки, которым страдает генерация макета с нуля.