Le décodage contraint ne casse pas le raisonnement des LLM : test sur 11 modèles ouverts

Le constrained decoding, c'est-à-dire le fait de forcer la génération d'un LLM à respecter un format défini à l'avance, est depuis longtemps considéré comme un compromis forcé : si l'on veut un JSON valide ou une réponse strictement cadrée, il faudrait accepter de sacrifier la qualité du raisonnement. Les auteurs du prétirage arXiv 2610.35328 ont mis cette hypothèse à l'épreuve sur quatre familles de modèles et onze modèles ouverts. Leur conclusion : le mécanisme de raisonnement lui-même n'est pas cassé. Une part importante des pertes de performance observées jusqu'ici s'explique par des prompts et des formats de sortie non comparables dans les expériences, et non par la contrainte en tant que telle.

D'où vient la méfiance envers le décodage contraint ?

L'intuition est facile à comprendre. Si l'on masque une partie des tokens à chaque étape, la distribution de probabilités s'en trouve déformée, et le modèle serait alors contraint de faire des choix moins bons. En pratique, cette idée s'est appuyée sur des comparaisons entre « génération libre » et « sortie structurée ». Mais dans ces comparaisons, ce n'était pas seulement la contrainte qui changeait. Le prompt différait aussi, de même que le format de réponse et la méthode d'extraction du résultat. Les auteurs montrent qu'en alignant les conditions, une grande partie de l'effet disparaît. Ce qu'on prenait pour le prix de la contrainte était en réalité le prix de formulations différentes du problème.

Les chercheurs apportent par ailleurs une justification théorique : des contraintes correctement choisies peuvent préserver, voire améliorer la qualité, car elles retirent de l'espace de recherche des chemins manifestement invalides.

Trois types de contraintes, trois effets différents

La contribution clé de ce travail est une taxonomie. Plutôt que de se demander si le constrained decoding nuit ou non, les auteurs distinguent trois classes de contraintes :

• Les contraintes sur la structure de la sortie. Elles définissent le format de la réponse : un schéma, un modèle, une grammaire. Leur rôle est d'obtenir un résultat lisible par une machine.
• Les contraintes sur la validité de la réponse. Elles masquent les options non autorisées, par exemple une réponse hors de l'ensemble de valeurs admises. Ces contraintes augmentent la fiabilité et la facilité d'extraction de la réponse, puisque les résultats invalides ne sont simplement jamais générés.
• Les contraintes sur la trajectoire de raisonnement. Elles réduisent les chemins possibles que le modèle peut suivre pour arriver à sa réponse. Si la trajectoire est bien choisie, la qualité du raisonnement augmente, et avec elle la précision finale.

La conclusion de l'étude est que l'impact du constrained decoding dépend du type de contrainte et de la part de l'espace de sortie qu'elle élimine. Si c'est du bruit qui est écarté, un gain est possible. Si ce sont des chemins de raisonnement utiles qui sont supprimés, les pertes sont bien réelles.

Comment l'étude a été menée

Les expériences ont porté sur des benchmarks variés, avec des stratégies de décodage contraint récentes. Périmètre couvert : quatre familles de modèles et onze modèles ouverts. Pour les praticiens, la méthodologie compte : les comparaisons ont été construites de sorte que les différences de prompts et de formats ne masquent pas l'effet de la contrainte elle-même. Les auteurs ont publié le code, ce qui permet de reproduire les résultats et de les appliquer à ses propres piles techniques.

Ce qu'il faut changer en production

Les équipes qui construisent des agents, des systèmes d'extraction de données ou d'appel d'outils renoncent souvent à la sortie structurée par peur de dégrader la qualité. Ce travail donne une raison de revoir ce choix. Avant toute mise en œuvre, il convient de déterminer à quelle classe appartient la contrainte envisagée : si elle se limite à définir une structure ou à écarter des réponses invalides, le risque pour la précision est, selon les données de l'étude, faible, tandis que le gain en stabilité du parsing est tangible.

Lors des tests A/B, il faut comparer des formulations équivalentes : mêmes instructions, même format de réponse finale, même procédure d'extraction. Sinon, c'est la différence entre les prompts qui est mesurée, et non celle du décodage. Les contraintes sur la trajectoire de raisonnement doivent être considérées comme un outil d'ajustement de la qualité : elles peuvent aider, mais leur utilité doit être validée sur ses propres tâches et ses propres modèles.