PrismaCoder: открытые модели 9B и 35B догоняют закрытые в генерации визуального кода

Открытые модели для мультимодального кодирования получили сразу три артефакта: конвейер данных PrismaForge, датасет PrismaCoder-2M и две обученные на нём модели, PrismaCoder-9B и PrismaCoder-35B. Авторы называют PrismaCoder-2M самым разнообразным и самым крупным открытым набором для мультимодального кода. По их оценке, модели с большим отрывом лидируют среди открытых решений и соперничают с ведущими проприетарными системами. Код и данные опубликованы.

Почему «код, который выглядит правильно» так трудно проверить

Мультимодальный код связывает символический мир программ с визуальным миром, который они создают при запуске. От моделей всё чаще требуют графики, веб-страницы, анимации и полуструктурированные документы. Закрытые системы уже умеют собирать интерактивные артефакты по текстовому описанию или одному скриншоту. Но данные и обучение у них недоступны, поэтому открытое сообщество упирается в количество и качество обучающих примеров и в способы их получения.

Качество здесь сложнее количества. Хороший образец должен одновременно быть корректной программой, быть аккуратно написанным и, главное, правильно выглядеть после рендера. Существующие сигналы покрывают эти требования лишь по отдельности. Исполнение чаще всего даёт один бит: прошло или упало. Сходство кода с эталоном плохо отражает итоговую картинку, ведь две совсем разные программы могут рисовать одно и то же, а почти одинаковые дают разный результат. Верификаторы под конкретную задачу не переносятся на другие.

Рубрика как фильтр и как награда

PrismaForge устроен как иерархический конвейер, в центре которого синтезированная рубрика. Она раскладывает три фактора качества на проверяемые критерии. Идея в том, что общая оценка «хорошо или плохо» превращается в набор конкретных вопросов к конкретному образцу.

Одна и та же рубрика работает в двух ролях. Сначала она отбирает данные для обучения с учителем, формируя корпус PrismaCoder-2M. Затем та же рубрика выступает наградой на этапе обучения с подкреплением на задачах визуального кодирования. Такая связка снимает типичную проблему, когда фильтр данных и сигнал для RL оценивают качество по разным меркам и модель оптимизируется не туда.

Ещё один результат авторов касается переносимости. Анализ показывает, что конвейер на основе рубрик улучшает мультимодальное кодирование на разных базовых архитектурах. Значит, эффект связан с самим подходом к данным и наградам, а не с особенностями одной модели.

Что именно выложено

• PrismaForge: иерархический конвейер синтеза и фильтрации данных на основе декомпозированной рубрики.
• PrismaCoder-2M: открытый датасет для мультимодального кода, по заявлению авторов, самый разнообразный и крупнейший на сегодня.
• PrismaCoder-9B и PrismaCoder-35B: две модели, обученные на этих данных, с публикацией весов.
• Код и данные доступны на странице проекта.
• Область задач: графики, веб-страницы, анимации и полуструктурированные документы.

Что это даёт разработчикам и командам

Главная ценность релиза в открытости всей цепочки. Раньше можно было скачать модель, но не понять, на чём и как её учили. Теперь доступны и данные, и метод фильтрации, и рубрика, которую можно адаптировать под собственные задачи. Для команд, строящих инструменты генерации дашбордов, лендингов или отчётов, это возможность дообучать модель на своих данных с тем же механизмом оценки.

Размеры моделей тоже имеют практический смысл. 9B реально запустить на одной потребительской или рабочей видеокарте с квантованием, что подходит для локальных сценариев и работы с чувствительным кодом. 35B рассчитан на более серьёзную инфраструктуру, но остаётся в классе, который по силам небольшим командам, а не только лабораториям с огромными кластерами.

Рубрики как универсальный сигнал можно применять и за пределами визуального кода. Любая задача, где результат нужно оценивать по нескольким независимым осям, от интерфейсов до генерации документов, получает шаблон: разложить качество на проверяемые критерии, отфильтровать ими данные и использовать их же как награду. Заявления о паритете с проприетарными системами стоит проверять на собственных задачах, особенно на сложных интерактивных страницах. Но у открытого сообщества теперь есть воспроизводимая отправная точка.