Le fine-tuning SFT réduit la variété des comportements de l'IA : une étude arXiv sur l'effondrement de la diversité

En juillet 2026, des chercheurs ont publié sur arXiv l'article « When Reasoning Narrows the Move: Diversity Collapse in LLM Game Play ». Il montre que le fine-tuning supervisé (SFT) standard améliore la précision des modèles de langage dans les jeux, mais réduit en même temps fortement la diversité de leurs coups, bien au-delà de ce que justifie l'arbitrage entre précision et diversité.

Ce que montre l'étude

Le travail, publié sur arXiv (catégorie cs.CL, identifiant 2607.19523), étudie l'effet du supervised fine-tuning sur la diversité comportementale des modèles dans la prise de décision séquentielle. Les auteurs ont construit un ensemble contrôlé de jeux de plateau déterministes, dérivés de variantes du morpion. Les coups optimaux y sont calculables exactement : la diversité des comportements se mesure donc directement, sans recourir à des évaluations discutables. L'évaluation porte sur trois niveaux à la fois : les états de jeu pris isolément, les parties jouées en mode « arène » et les trajectoires d'entraînement elles-mêmes. Cela permet d'observer comment la diversité se dégrade pendant le fine-tuning, et pas seulement dans le modèle final.

• Plateforme : arXiv, catégorie cs.CL, identifiant 2607.19523, type de publication « new »
• Environnement de test : jeux de plateau déterministes dérivés du morpion
• Les coups optimaux sont calculables exactement, la diversité se mesure donc directement
• L'évaluation s'effectue à trois niveaux : états isolés, parties en « arène » et trajectoires d'entraînement
• Méthode d'atténuation : action augmentation, c'est-à-dire l'entraînement sur tous les coups optimaux d'un état

Pourquoi le SFT restreint-il les choix du modèle ?

Le SFT standard provoque un effondrement prématuré de la diversité : la politique du modèle se resserre sur un petit ensemble de coups plus vite que ne le justifie le compromis « précision contre diversité ». Selon l'étude, le mode de raisonnement pas à pas (reasoning-mode) réduit souvent encore davantage la diversité des coups, sans pour autant améliorer la précision de façon uniforme. Point important : le reasoning-mode, que l'on considère généralement comme un moyen d'améliorer les décisions, a ici joué contre la diversité. Il a resserré l'éventail des coups sans gain de précision stable.

Selon les auteurs, la cause est une « imitation à support étroit » (narrow-support imitation) : pour chaque état, le modèle apprend à partir d'un seul coup optimal montré et ignore les autres variantes équivalentes. Il perd ainsi non seulement les alternatives, mais aussi sa propension à explorer l'espace des solutions.

Comment atténuer le problème

L'action augmentation résout le problème en partie. Elle consiste à entraîner le modèle sur toutes les actions optimales de chaque état, plutôt que sur le seul coup démontré. D'après le résumé de l'article, cette technique préserve le « support d'actions » (action support) et maintient le comportement exploratoire du modèle, sans dégrader la précision. La méthode n'élimine toutefois pas complètement le problème : les auteurs qualifient eux-mêmes l'atténuation de partielle. Ils montrent cependant que le simple fait d'entraîner sur un support d'actions large modifie déjà le comportement du modèle dans le bon sens.

«

Préserver le support d'actions pendant le SFT est important pour maintenir le comportement exploratoire », indique le résumé de l'étude sur arXiv.

Ce que cela signifie

Ce travail met en évidence le coût caché d'une méthode de fine-tuning très répandue : en optimisant un modèle pour la précision, les développeurs peuvent lui retirer discrètement sa flexibilité et sa propension à explorer. Pour les tâches où la diversité des solutions compte (agents de jeu, planification, actions en plusieurs étapes), les auteurs conseillent de préserver l'action support dès l'étape de SFT.

Questions fréquentes

Qu'est-ce que l'effondrement de la diversité dans les modèles de langage ?

L'effondrement de la diversité désigne la situation où, après le fine-tuning, un modèle se met à choisir toujours le même ensemble restreint de réponses ou de coups, en perdant des alternatives pourtant équivalentes. Dans l'étude, il survenait avec le SFT standard plus tôt que ne l'exigeait l'arbitrage entre précision et diversité.

Comment l'action augmentation aide-t-elle à préserver la diversité ?

L'action augmentation entraîne le modèle sur tous les coups optimaux de chaque état, et non sur un seul coup montré. Selon l'étude, cela atténue en partie l'effondrement de la diversité et préserve le comportement exploratoire du modèle.