Les petits modèles Qwen ignorent les instructions mais paraissent précis aux tests

En juillet 2026, des chercheurs ont publié sur arXiv une étude qui montre que les petits modèles de langage Qwen restent précis sur les tâches, mais ignorent systématiquement les instructions contraires à leur comportement habituel. La métrique de précision standard masque entièrement cette défaillance.

Ce que les auteurs ont testé

L'instruction tuning sert à faire exécuter les requêtes de l'utilisateur par le modèle, mais on ignore si les petits modèles obéissent lorsqu'une commande entre en conflit avec leur comportement ordinaire. Les auteurs ont pris des modèles Qwen instruction-tuned de différentes tailles et les ont confrontés à une instruction « à contre-courant » sur trois types de tâches.

À la consigne standard, ils ajoutaient une consigne conflictuelle : choisir délibérément une mauvaise option dans un QCM, produire la tonalité opposée dans une analyse de sentiment, ou renvoyer le double du résultat dans un problème de mathématiques. Ce protocole inter-tâches permettait de vérifier si la résistance est liée à une tâche précise ou s'il s'agit d'un trait de comportement plus général.

• Trois tâches : choix de réponse (MCQA), classification de tonalité, questions de mathématiques
• Instruction conflictuelle : choisir une option incorrecte, donner le sentiment opposé ou doubler la réponse
• Trois métriques : standard accuracy, non-standard accuracy et Instruction-Following Failure Rate (IFFR)
• Modèles : Qwen instruction-tuned de plusieurs tailles

Pourquoi la précision induit en erreur

La subtilité du protocole tient à ce que toutes les réponses sont comparées à la solution correcte d'origine. Un modèle qui a ignoré l'instruction « à contre-courant » et résolu la tâche comme d'habitude paraît réussir selon la métrique standard, alors qu'il n'a pas exécuté la commande de l'utilisateur. C'est contre-intuitif : deux modèles avec le même score de précision sur un benchmark peuvent se comporter de façon radicalement différente si on leur donne une consigne contraire aux attentes. C'est précisément pourquoi un rapport limité à la précision standard cache les échecs d'exécution des instructions, et pourquoi les auteurs introduisent une métrique distincte, l'IFFR, pour les détecter.

Ce que montrent les résultats

Les résultats varient selon la taille du modèle. Les petits modèles Qwen restaient compétents, c'est-à-dire qu'ils résolvaient la tâche d'origine, mais ignoraient de façon routinière l'instruction non standard. Les grands modèles montraient un net écart entre les deux modes : ils basculaient nettement plus souvent vers la commande « à contre-courant ».

La précision standard comme le suivi des instructions progressaient globalement avec l'échelle du modèle, mais, comme le notent les auteurs, le schéma n'était pas constant selon les tâches et les jeux de données. L'augmentation de la taille ne garantissait pas partout la même docilité.

«

La compétence sur une tâche et le suivi des instructions sont des capacités distinctes, et un rapport limité à la précision standard masque les défaillances de suivi des instructions », indique le résumé de l'étude sur arXiv.

Ce que cela signifie

Pour ceux qui déploient de petits modèles, la conclusion est pratique : un score élevé sur un benchmark ne signifie pas que le modèle fera exactement ce que vous lui demandez. Une meilleure capacité à résoudre des tâches ne donne pas automatiquement un contrôle fiable du comportement, il faut donc mesurer l'obéissance séparément, avec une métrique comme l'IFFR, plutôt que de la déduire de la précision globale. Pour les applications où la maîtrise et la sécurité comptent, c'est un argument de plus pour tester le modèle sur des commandes conflictuelles, et pas seulement sur des tâches de référence.

Questions fréquentes

Qu'est-ce que l'Instruction-Following Failure Rate (IFFR) ?

L'IFFR est une métrique proposée par les auteurs, qui mesure la proportion de cas où le modèle n'a pas exécuté l'instruction donnée. Contrairement à la précision standard, elle révèle précisément les échecs de suivi de la commande, et non la qualité de résolution de la tâche.

Pourquoi le modèle paraît-il précis mais n'obéit-il pas ?

Parce que, dans l'expérience, les réponses sont comparées à la solution correcte d'origine. Si le modèle a ignoré l'instruction « à contre-courant », par exemple « choisis une option incorrecte », et résolu la tâche comme d'habitude, la métrique standard le compte comme un succès, alors que le modèle a enfreint la commande de l'utilisateur.