PrismaCoder : des modèles ouverts de 9B et 35B rattrapent les modèles fermés en génération de code visuel

Les modèles ouverts de codage multimodal reçoivent trois artefacts d'un coup : le pipeline de données PrismaForge, le jeu de données PrismaCoder-2M et deux modèles entraînés dessus, PrismaCoder-9B et PrismaCoder-35B. Les auteurs présentent PrismaCoder-2M comme le jeu de données ouvert le plus diversifié et le plus vaste pour le code multimodal. D'après leur évaluation, leurs modèles dominent largement les solutions ouvertes et rivalisent avec les principaux systèmes propriétaires. Le code et les données sont publiés.

Pourquoi le « code qui a l'air correct » est si difficile à vérifier

Le code multimodal relie le monde symbolique des programmes au monde visuel qu'ils produisent à l'exécution. On demande de plus en plus aux modèles de générer des graphiques, des pages web, des animations et des documents semi-structurés. Les systèmes fermés savent déjà construire des artefacts interactifs à partir d'une description textuelle ou d'une seule capture d'écran. Mais leurs données et leur entraînement restent inaccessibles : la communauté open source se heurte donc à la quantité et à la qualité des exemples d'entraînement, ainsi qu'aux moyens de les obtenir.

La qualité est ici plus délicate que la quantité. Un bon exemple doit être à la fois un programme correct, un code soigneusement écrit et, surtout, un rendu visuel juste. Les signaux existants ne couvrent ces exigences que séparément. L'exécution ne fournit le plus souvent qu'un seul bit : réussi ou échoué. La similarité du code avec une référence reflète mal l'image finale, car deux programmes très différents peuvent dessiner la même chose, tandis que deux programmes presque identiques peuvent donner des résultats distincts. Quant aux vérificateurs conçus pour une tâche précise, ils ne se transposent pas à d'autres.

La rubrique, à la fois filtre et récompense

PrismaForge est un pipeline hiérarchique centré sur une rubrique synthétisée. Celle-ci décompose les trois facteurs de qualité en critères vérifiables. L'idée est de transformer un jugement global du type « bon ou mauvais » en une série de questions concrètes posées à un exemple précis.

La même rubrique joue deux rôles. Elle sélectionne d'abord les données pour l'apprentissage supervisé et constitue ainsi le corpus PrismaCoder-2M. Puis elle sert de récompense lors de l'apprentissage par renforcement sur des tâches de codage visuel. Ce couplage élimine un problème classique : lorsque le filtre de données et le signal de RL mesurent la qualité selon des étalons différents, le modèle s'optimise dans la mauvaise direction.

Un autre résultat des auteurs concerne la transférabilité. Leur analyse montre que le pipeline fondé sur des rubriques améliore le codage multimodal sur différentes architectures de base. L'effet tient donc à l'approche elle-même, c'est-à-dire aux données et aux récompenses, et non aux particularités d'un seul modèle.

Ce qui est publié exactement

• PrismaForge : un pipeline hiérarchique de synthèse et de filtrage de données, fondé sur une rubrique décomposée.
• PrismaCoder-2M : un jeu de données ouvert pour le code multimodal, le plus diversifié et le plus vaste à ce jour selon les auteurs.
• PrismaCoder-9B et PrismaCoder-35B : deux modèles entraînés sur ces données, avec publication des poids.
• Le code et les données sont disponibles sur la page du projet.
• Domaine des tâches : graphiques, pages web, animations et documents semi-structurés.

Ce que cela change pour les développeurs et les équipes

La principale valeur de cette publication tient à l'ouverture de toute la chaîne. Jusqu'ici, on pouvait télécharger un modèle, mais pas savoir sur quoi ni comment il avait été entraîné. Désormais, on dispose des données, de la méthode de filtrage et de la rubrique, que l'on peut adapter à ses propres tâches. Pour les équipes qui développent des outils de génération de tableaux de bord, de pages d'atterrissage ou de rapports, c'est la possibilité d'affiner un modèle sur leurs propres données avec le même mécanisme d'évaluation.

La taille des modèles a aussi un intérêt pratique. Avec la quantification, le 9B peut tourner sur une seule carte graphique grand public ou professionnelle, ce qui convient aux scénarios locaux et au travail sur du code sensible. Le 35B demande une infrastructure plus sérieuse, mais reste dans une catégorie accessible à de petites équipes, et pas seulement aux laboratoires dotés d'immenses clusters.

Les rubriques comme signal universel peuvent aussi s'appliquer au-delà du code visuel. Toute tâche dont le résultat doit être évalué selon plusieurs axes indépendants, des interfaces à la génération de documents, y trouve un modèle : décomposer la qualité en critères vérifiables, filtrer les données avec ces critères, puis les réutiliser comme récompense. Les affirmations de parité avec les systèmes propriétaires méritent d'être vérifiées sur ses propres tâches, en particulier sur des pages interactives complexes. Mais la communauté ouverte dispose désormais d'un point de départ reproductible.