Un DRLM de 6M de paramètres résout Sudoku-Extreme dans 93,9% des cas, sans diffusion inverse

Le modèle Draft Refinement Language Model, ou DRLM, ne compte que 6 millions de paramètres. Il résout 93,9% des tâches de Sudoku-Extreme et 44,4% de celles de Countdown-5. Selon les auteurs, il devance à la fois les modèles de référence autorégressifs et ceux de diffusion discrète sur Countdown, Sudoku-Extreme et Maze-Hard. La différence majeure : DRLM n'utilise pas du tout de transition de diffusion inverse. Il révise le brouillon dans son ensemble et n'accepte une correction que si le résultat s'améliore selon une métrique interne.

Le problème : de bons tokens ne garantissent pas une bonne réponse

Pour raisonner, un modèle tire parti d'un brouillon parce qu'il peut réexaminer chaque décision à la lumière des autres. Au sudoku, un chiffre dans une case n'a de sens qu'en lien avec les chiffres des cases voisines. La diffusion discrète, avec son débruitage répété, ne garantit pas cette cohérence. Chaque mise à jour de token paraît plausible isolément, mais l'ensemble ne produit pas forcément une meilleure réponse. Les auteurs construisent leur méthode autour de cet écart.

Comment fonctionne DRLM

Le système repose sur un seul débruiteur, qui joue deux rôles. Il est entraîné à reconstruire chaque token à partir de brouillons corrompus de façon uniforme. L'entraînement porte à la fois sur les tokens corrompus et sur les tokens intacts : le modèle apprend ainsi à conserver ce qui est juste et à réparer ce qui ne l'est pas. Les prédictions du débruiteur définissent directement les corrections, sans transition de diffusion inverse.

Le second rôle est plus délicat : évaluer un candidat. La confiance du modèle dans un token existant se compose de deux parties. La première est le soutien du contexte, c'est-à-dire du prompt et du reste du brouillon. La seconde est l'indice que fournit le simple fait que le token soit visible en entrée. Cette seconde partie gonfle la confiance dans ce qui est déjà écrit. Comme le processus de corruption est connu, les auteurs soustraient cet effet d'auto-confirmation et obtiennent une estimation du soutien apporté au token par le reste du contexte.

L'énergie de cavité et la boucle de chaque tour

Les scores par token sont agrégés en une « énergie de cavité » (cavity energy). Elle se calcule en une seule passe avant, sans modèle scoreur supplémentaire. Un tour se déroule ainsi :

• le débruiteur propose une correction parallèle du brouillon ;
• le candidat obtenu est relu, cette fois dans son nouveau contexte ;
• la correction n'est conservée que si l'énergie du candidat est inférieure à celle du brouillon actuel.

Le processus dispose ainsi d'un critère de retour en arrière. Une mauvaise correction ne s'accumule pas, ce qui peut arriver avec un débruitage itératif aveugle.

Ce que montrent les tests

• Benchmarks : Countdown, Sudoku-Extreme, Maze-Hard.
• Modèles de référence : autorégressifs et de diffusion discrète, que DRLM surpasse.
• Taille : 6M de paramètres.
• Countdown-5 : 44,4%.
• Sudoku-Extreme : 93,9%.

Les limites sont tout aussi évidentes. Les trois jeux de tests sont des tâches synthétiques à structure rigide et vérifiable, et le modèle est minuscule. Le résumé de l'article ne permet pas de savoir comment la méthode se comporterait sur du texte libre, du code ou de longues chaînes de raisonnement. On ignore aussi dans quelle mesure le gain subsisterait à l'échelle de milliards de paramètres. Le résumé ne donne pas les scores des modèles de référence : il faudra consulter l'article lui-même pour mesurer l'écart.

Ce que les praticiens peuvent en faire

Pour ceux qui construisent des systèmes de raisonnement, le schéma « proposer, relire, accepter ou rejeter » a de la valeur en soi. Il fournit un vérificateur intégré sans second modèle, et n'ajoute donc ni reward model séparé ni juge externe. Si la cohérence globale compte dans vos tâches (planification, contraintes, casse-têtes, sortie structurée), la méthode mérite un test de reproduction. Il faut d'abord la comparer à votre base autorégressive à budget de calcul égal. Il faudra aussi surveiller l'arrivée de résultats sur des tâches en langage naturel et en code. Pour l'instant, c'est une proposition convaincante pour une classe de tâches à réponse vérifiable, pas un remplaçant prêt à l'emploi des LLM généralistes.