WhoWins : la première ligne d'un prompt l'emporte dans 72 à 95 % des conflits

En conditions réelles, un agent reçoit des ordres de cinq sources à la fois : l'opérateur, la configuration du dépôt, l'utilisateur, les résultats des outils et la mémoire enregistrée. Ces sources se contredisent régulièrement. Des chercheurs menés par Anish Laddha ont construit le benchmark WhoWins, composé de 1 080 scénarios, et y ont soumis 14 modèles ouverts. Résultat : sur 1 887 356 réponses évaluées, l'issue d'un conflit dépend fortement de l'emplacement de la ligne, et nettement moins de son émetteur.

Pourquoi les anciens benchmarks de hiérarchie des instructions

atteignent leurs limites

Les tests existants sur l'instruction hierarchy posent une seule question : la source de rang supérieur l'emporte-t-elle ? Les auteurs de WhoWins pointent un problème de méthode. Une source détermine simultanément trois paramètres : la position du texte dans le contexte, le rôle du message et l'étiquette sous laquelle il arrive. Quand le prompt system gagne, on ignore pourquoi. Est-ce à cause de son statut, ou simplement parce qu'il vient en premier ?

WhoWins dissocie donc ces facteurs. Le benchmark comprend cinq types de tâches et jusqu'à cinq instructions mutuellement exclusives par scénario. Les résultats sont évalués par du code, sans LLM faisant office de juge. Sept expériences contrôlées ne modifient que la manière de transmettre les instructions. Les 14 modèles à poids ouverts testés vont de 0,6B à 122B de paramètres, avec le thinking activé ou désactivé. Les auteurs ont revérifié leurs principales conclusions sur des scénarios mis de côté.

La première ligne gagne, mais le rôle system ne garantit pas la victoire

Au sein d'un même message, la première de deux lignes contradictoires l'emporte dans 72,42–94,66 % des cas, selon le modèle et le mode. Entre messages, l'effet est plus faible : l'instruction précoce tient dans 22,95–62,65 % des cas.

La découverte la plus gênante pour les praticiens concerne le niveau système. Une politique placée en premier dans un message system ou developer perd la majorité des conflits face à des lignes ultérieures, sur tous les modèles de la famille Qwen. Sur gpt-oss, c'est l'inverse : elle remporte la majorité des conflits lorsque le modèle passe à l'action. Dans les tâches avec outils et écriture de fichiers, le même texte, placé en premier dans un message étiqueté user, l'emporte plus souvent que dans un message system. On l'observe pour chaque combinaison de modèle et de mode.

Autrement dit, l'étiquette « system » ne se traduit pas en priorité fiable. Le résultat dépend largement de la façon dont chaque modèle a été entraîné à gérer les rôles, et de son comportement quand il doit exécuter une action plutôt que simplement répondre.

Les conflits passent inaperçus

Les auteurs ont aussi vérifié si le modèle mentionne la contradiction à voix haute. D'après leurs gabarits de détection, au plus 2,92 % des réponses résolues aux conflits par paires la signalent ou atténuent leur formulation. L'agent choisit l'une des instructions et agit. L'utilisateur et l'opérateur n'en sont pas informés.

Un volet distinct de l'étude porte sur la prédiction. Peut-on, à partir des résultats des conflits par paires, prédire le comportement dans des scénarios complexes à plusieurs instructions ? Les prédictions s'améliorent pour chaque combinaison de modèle et de mode lorsque l'on connaît l'emplacement, dans le contexte, de la ligne contenant la tâche elle-même.

Ce que contient l'étude

• Le benchmark WhoWins : 1 080 scénarios évalués par du code.
• Cinq types de tâches, jusqu'à cinq instructions mutuellement exclusives par scénario.
• Sept expériences contrôlées, qui ne modifient que la manière de transmettre les instructions.
• 14 modèles open-weight de 0,6B à 122B, en modes thinking off et on.
• 1 887 356 réponses évaluées, conclusions revérifiées sur des scénarios mis de côté.
• Dans un même message : la première de deux lignes contradictoires l'emporte dans 72,42–94,66 % des cas.
• Entre messages différents : l'instruction précoce tient dans 22,95–62,65 % des cas.
• Au plus 2,92 % des réponses résolues aux conflits par paires signalent ou atténuent explicitement le conflit.
• Volume de l'article : 55 pages, 8 figures, 24 tableaux.

Ce qu'il faut changer dès maintenant dans les systèmes agentiques

Premièrement, ne pas compter sur l'étiquette system pour protéger les règles critiques. Si une politique de sécurité doit survivre à des instructions utilisateur tardives ou à des résultats d'outils, il faut la vérifier par des tests sur le modèle concerné, car le comportement de Qwen et celui de gpt-oss divergent. Deuxièmement, l'ordre des lignes dans le prompt relève de l'architecture, pas de la mise en forme. Troisièmement, pour les tâches impliquant des appels d'outils et l'écriture de fichiers, il faut contrôler les priorités séparément des scénarios de chat, car la politique système y gagne moins souvent.

Enfin, il faut surveiller les conflits silencieux. Si l'agent ne signale presque jamais une contradiction, on ne la découvrira que dans les logs et les tests. Le code et les données sont disponibles via pip install whowins : on peut donc soumettre ses propres modèles au même protocole.