Les Agents sur GPT-4o-mini et GPT-5.2 Violent Silencieusement les Règles dans les Tests τ²-bench

Les chercheurs ont étudié les agents IA basés sur de grands modèles de langage qui utilisent des outils (agents LLM utilisant des outils) et ont découvert que ces agents peuvent silencieusement violer les mêmes politiques qu'ils sont supposés suivre—tandis que la tâche semble être complétée avec succès. Le travail a été publié sur arXiv le 7 juillet 2026.

Qu'est-ce que la violation silencieuse de politique

Dans les environnements où un outil peut techniquement exécuter tout appel correctement formaté malgré les règles du domaine (environnements permissifs en matière de politique), un "état silencieusement incorrect" surgit : une réservation annulée, un nombre de passagers modifié, une réclamation traitée sans vérification. Ni l'outil lui-même ni le rapport de l'agent sur ses actions ne signale une erreur.

L'équipe a testé ce scénario sur l'benchmark τ²-bench dans le domaine aérien. Pour un agent "budgétaire", 78% de tous les défaillances enregistrées se sont avérées être exactement des violations de politique silencieuses sans une seule erreur d'outil, et la fréquence de défaillance cumulée est reproduite sur des ensembles de graines indépendants plutôt que d'être du bruit d'échantillon.

Combien les portes déterministes aident-elles

Les auteurs ont proposé une intervention légère—des portes déterministes et en lecture seule (gates) qui examinent l'appel proposé et l'état actuel du système avant de permettre l'écriture.

• Un ensemble de quatre portes a augmenté le succès sur l'ensemble du benchmark de 29,6% à 42,0% sur le modèle gpt-4o-mini (+12,4 points de pourcentage; P=0,0012)
• L'effet a été reproduit sur un ensemble indépendant de 15 graines (+12,3 p.p.; P=0,0008)
• Sur 26 tâches sur 50 où les portes ont réellement fonctionné, le succès a augmenté de +19,2 p.p.
• Sur le modèle phare gpt-5.2 avec les paramètres de raisonnement par défaut, le même ensemble de quatre portes a augmenté le succès de 61,2% à 71,6% (+10,4 p.p.; P=0,020, mais sur un échantillon de seulement 5 exécutions et sans réplication d'expérience)

Deux contrôles négatifs—un domaine de vente au détail autosuffisant où les outils eux-mêmes surveillent la politique, et l'benchmark BFCL—ont délimité les limites de la méthode : les portes aident où les outils permettent la violation de politique, et ont pratiquement aucun effet où les outils se conforment indépendamment.

Ce que cela signifie

Même les modèles phares comme gpt-5.2 continuent de tenter d'exécuter des écritures violant la politique—le problème ne disparaît pas avec l'augmentation de la qualité du modèle. Les auteurs soulignent que les portes déterministes ne garantissent pas le succès complet de la tâche, mais bloquent de manière fiable une classe spécifique de violations silencieuses à la limite de l'action—précisément où l'agent est sur le point de faire un changement réel dans le système.

Questions fréquemment posées

Qu'est-ce que τ²-bench?

C'est un benchmark pour tester les agents IA avec des outils dans le domaine aérien, sur lequel les chercheurs ont identifié et mesuré les violations de politique silencieuses.

Comment fonctionnent les portes déterministes?

Ce sont des vérifications en lecture seule qui, avant d'exécuter une écriture, analysent l'appel d'outil proposé et l'état actuel du système et bloquent les appels qui violent les règles du domaine.

La méthode fonctionne-t-elle sur les modèles phares?

Oui : sur gpt-5.2 avec le raisonnement par défaut, le même ensemble de quatre portes a augmenté le succès de 61,2% à 71,6%, bien que les auteurs notent que ce résultat a été obtenu sur un petit échantillon de 5 exécutions et n'a pas encore été répliqué.