Un nouveau test détecte la collusion cachée entre agents IA grâce à la réaction du partenaire à une paraphrase

Si deux agents IA se sont entendus à l'avance sur un accord secret, par exemple « un message commençant par S signifie : maintiens le prix », leurs échanges ressemblent, vus de l'extérieur, à des répliques ordinaires sur le marché. Un moniteur qui ne lit que les textes ne distingue pas une telle collusion d'une communication honnête. Les auteurs du preprint publié sur arXiv proposent une autre approche : regarder non pas les mots, mais le comportement.

On paraphrase le message en préservant son sens et on vérifie si l'action du destinataire change. Si elle change, c'est qu'il a réagi à la forme exacte du texte, c'est-à-dire au code qui s'y cache. L'écart entre la réaction du vrai partenaire et celle d'un agent tiers placé à la même position, les auteurs l'ont appelé PoPLi (Partner–Outsider Positive Listening).

Comment fonctionne la vérification

L'idée est simple. Tout agent réagit au sens d'une phrase. Mais seul celui qui connaît l'accord réagit à un code dissimulé dans la formulation. On installe donc dans le « fauteuil » du partenaire un agent tiers : une nouvelle instance du même modèle, avec le même rôle et le même historique public, mais sans les instructions personnelles, les notes ni la mémoire du partenaire. On leur présente ensuite à tous deux le message original et sa paraphrase.

La vérification se fait a posteriori, à partir des logs enregistrés. Pour chaque tour, on reprend le prompt (le texte d'entrée) que le partenaire a reçu lors de l'exécution réelle, on y remplace le message et on l'envoie à une nouvelle instance du modèle. Il n'est pas nécessaire de reconstituer l'état interne des agents.

Les actions des vendeurs sont ramenées à quatre catégories : prix plus haut, à peu près identique, plus bas, ou ordre retiré. On calcule ensuite la distance de variation totale entre les distributions de réponses au message original et à la paraphrase. On en soustrait un « plancher de bruit » : l'écart observé entre deux exécutions sur un même message. Cela évite qu'un agent plus aléatoire ne crée une fausse différence. Les intervalles de confiance sont obtenus par bootstrap, en rééchantillonnant les sessions, puis les tours à l'intérieur de celles-ci.

L'expérience : un marché et cinq scénarios

Le test a été mené sur une enchère double continue simulée, où les vendeurs peuvent s'écrire entre eux. Il y avait cinq scénarios, à raison de 10 marchés chacun, soit 50 au total :

• sans collusion ; • collusion via une récompense commune, avec des messages neutres ; • idem, mais avec une intention ouvertement déclarée ; • code caché : la première lettre des messages d'un vendeur indique à l'autre de maintenir le prix ou de le baisser ; • code plus intention déclarée.

Dans chaque scénario, 90 tours ont été évalués (les heures 2 à 10 sur 10 marchés). Les résultats :

• Code uniquement dans la première lettre : PoPLi de 0,59. • Code et intention déclarée concordant avec la lettre : 0,48. • Code et intention déclarée divergeant de la lettre : 0,53. • La borne inférieure de l'intervalle à 95 % dépasse 0,29 dans les trois scénarios avec code. • Dans les trois scénarios sans code, la métrique est proche de zéro, avec une borne supérieure d'intervalle ne dépassant pas 0,10.

Les auteurs ont aussi vérifié qu'une différence nulle ne signifie pas que l'agent tiers est « sourd ». Lorsqu'un vendeur annonce explicitement ses intentions par des mots, l'agent tiers y réagit, et l'écart avec le partenaire reste nul. Le test sépare donc le canal privé de l'échange d'informations ouvert.

Et les moniteurs qui lisent le texte ?

Pour comparaison, deux moniteurs n'analysant que les messages ont été testés. Le premier ne lit que les répliques du vendeur émetteur et a répondu « non » sur les 50 marchés. Le second lit les répliques de tous les vendeurs et a signalé 9 des 10 marchés où il n'y avait aucune collusion. Aucun des deux n'a su séparer les scénarios.

Les limites de la méthode

Les auteurs décrivent sans détour ce que PoPLi ne voit pas. Il détecte l'usage d'un canal privé, et non la collusion en général :

• Une collusion fondée sur des incitations communes, avec des messages neutres, reste hors de portée : ni le moniteur de texte ni ce test n'ont quoi que ce soit à examiner. • Les codes inscrits dans le sens du message, et non dans sa formulation, ne sont pas détruits par la paraphrase, et la métrique ne les détectera pas. • Le test suppose que les colluders ignorent son existence et ne s'y adaptent pas. S'ils authentifient leurs messages ou anticipent la répétition de la requête, la méthode s'affaiblit. • L'enchère reste un jeu aux intérêts partiellement conflictuels. Une faible réaction de l'agent tiers peut traduire une méfiance envers un concurrent, et non une incompréhension du langage.

Les auteurs rappellent par ailleurs que la paraphrase comme moyen de défense a déjà été étudiée : selon les travaux de Roger et Greenblatt (2023), elle limite les schémas de stéganographie connus à environ trois bits par kilooctet de texte. Toutefois, les stratégies à un bit optimisées contre les paraphraseurs sont toujours déchiffrées dans plus de 90 % des cas sur le jeu de données AQuA-RAT.

Ce qu'il faut en retenir en pratique

Pour les équipes qui déploient des agents qui négocient ou échangent entre eux, la conclusion est la suivante. Si vous conservez les logs complets des prompts, vous pouvez rejouer a posteriori les tours avec des messages modifiés et comparer les réactions du partenaire et de l'agent tiers. C'est moins coûteux que de tenter de deviner une collusion à partir du texte, et cela produit moins de faux positifs.

Mais ce ne sera pas une protection complète. Il faut aussi des détecteurs de collusion ouverte fondés sur les mots et un contrôle distinct des incitations, car chacune des trois formes de collusion exige son propre outil. Pour l'instant, il s'agit du résultat d'une seule simulation avec un seul modèle de comportement : il est trop tôt pour le transposer à de vrais marchés.