Qui gagne le duel des instructions : l'ordre d'arrivée, le rôle dans la conversation, ou juste l'étiquette ?

Pourquoi les tests précédents étaient trompeurs

Lorsqu'un agent IA travaille sur une tâche réelle, il reçoit des ordres simultanément de plusieurs sources : de l'opérateur via le prompt système, d'un fichier de configuration du dépôt, directement de l'utilisateur, du résultat d'un outil appelé, et même de notes conservées en mémoire d'une session précédente. Ces ordres se contredisent régulièrement, et l'agent ne peut en exécuter qu'un seul. Une équipe de chercheurs du LNMIIT (Inde) et de Virginia Tech a voulu comprendre ce qui déterminait réellement l'issue de ce duel — et a découvert que la « hiérarchie des instructions » généralement admise dans l'industrie (le système prime sur l'utilisateur, l'utilisateur prime sur l'outil) fonctionne bien moins fiablement que le simple ordre des lignes dans le texte.

Le problème est que la source d'une commande modifie simultanément trois choses : sa position dans le texte (plus tôt ou plus tard), son rôle dans la conversation (système, utilisateur) et son étiquette (comment le texte est signé). Si un modèle ignore le prompt système, on ne sait pas pourquoi : est-il arrivé trop tôt, trop tard, ou simplement signé différemment ? La plupart des tests précédents ne comparaient qu'une paire d'instructions à la fois, placées dans un seul message — ce qui ne reflète pas le fonctionnement réel d'un agent, où les conflits surviennent entre plusieurs messages et plus de deux sources.

Pour isoler ces trois facteurs, les auteurs ont créé 1080 scénarios répartis en cinq types de tâches (appel d'outil, écriture de fichier, ordre des étapes, choix du format de réponse et refus d'exécution), chacun comportant jusqu'à cinq réponses mutuellement exclusives. Les instructions étaient placées dans cinq « emplacements » : l'opérateur et les réglages du dépôt (tous deux dans le message système, mais signés différemment), l'utilisateur, le résultat d'un outil et une note de mémoire. Sept expériences distinctes ont fait varier uniquement la façon de présenter le texte, sans toucher au contenu des instructions.

Ce que révèle la pratique

Quatorze modèles ouverts ont été testés (Qwen 3 de 0,6 à 14 milliards de paramètres, Qwen 3.5 de 0,8 à 122 milliards, et gpt-oss), avec et sans mode de raisonnement activé — soit 26 combinaisons modèle-mode. Près de 1,9 million de réponses ont été recueillies, évaluées par du code selon des critères précis, sans recours à une IA comme juge.

Trois découvertes majeures :

• L'ordre au sein d'un même message détermine presque tout. Si deux lignes contradictoires figurent dans le même message, la première l'emporte dans 72 à 95 % des réponses tranchées. Dès que ces lignes sont réparties sur des messages distincts, l'avantage de la première chute à 23–63 %, et dans 16 des 26 combinaisons modèle-mode, c'est le message le plus récent qui remporte la victoire le plus souvent.
• Les familles de modèles se comportent à l'opposé l'une de l'autre. Chez Qwen 3 et Qwen 3.5, la ligne de l'opérateur, envoyée en premier dans le message système, perd face à un texte arrivé plus tard — qu'il vienne de l'utilisateur, d'un outil ou de la mémoire — dans la quasi-totalité des cas : sa victoire ne représente que 6 à 41 %. À l'inverse, gpt-oss, entraîné à placer le système au-dessus de l'utilisateur, obéit au message système dans 63 à 76 % des cas, même quand celui-ci est envoyé avant les autres.
• Pour les tâches d'outils et de fichiers, c'est l'étiquette qui compte, pas le rôle. Un même texte de l'opérateur, envoyé comme véritable message système, l'emporte moins souvent que ce même texte simplement signé comme message utilisateur — un écart de 6 à 49 % observé sur les 26 combinaisons. La raison probable : dans les trois formats de conversation testés, les définitions des outils disponibles sont écrites directement dans le message système/developer, où la commande de l'opérateur se trouve « noyée » parmi les détails techniques, tandis qu'un texte utilisateur signé se démarque, plus visible.

Les chercheurs ont aussi vérifié s'il était possible de prédire l'issue d'un conflit entre trois à cinq instructions en ne connaissant que les résultats des comparaisons par paires — la prédiction s'améliore nettement si le modèle sait où se situe précisément la tâche elle-même dans la séquence, mais même cela reste instable : chez Qwen 3, cette approche n'a aidé que dans 3 des 10 combinaisons. Et presque jamais (au maximum dans 2,92 % des cas) le modèle n'a mentionné avoir même remarqué un conflit entre les instructions.

Ce que cela implique pour les développeurs d'agents

Si vous construisez un agent en comptant sur le fait que le prompt système l'emportera automatiquement sur une réplique utilisateur plus tardive — pour Qwen, cet espoir risque de ne pas se vérifier : l'ordre des messages s'avère plus fort que le rang déclaré. Pour les tâches d'appel d'outils, il vaut la peine de vérifier séparément si une instruction importante de l'opérateur ne se « noie » pas parmi les définitions d'outils dans le message système — la placer comme un texte explicitement signé peut parfois être plus fiable que de se fier au rôle dans la conversation. Et surtout : il faut tester la hiérarchie des instructions non pas seulement par paires, mais directement par trios et quintuplets de sources réellement contradictoires — le comportement d'un modèle dans un cas complexe ne se déduit pas directement de simples tests par paires.