Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)

GPT-6 Astra bat Claude Opus 5.5 au « Mafia » : un classement de 1859 contre 1549

Dwarkesh Patel a dépensé 20 000 dollars en API pour faire s’affronter 11 modèles sur Blood on the Clocktower, une version complexe du jeu Mafia. Un modèle incarnait tous les membres du camp du bien, un autre ceux du camp du mal, puis ils échangeaient leurs rôles : la déduction et la tromperie étaient ainsi évaluées séparément. Après 386 manches, GPT-6 Astra a terminé en tête avec un classement de 1859, contre 1549 pour Claude Opus 5.5.

Traité par IA depuis TG: @ai_machinelearning_big_data (Machinelearning) ; édité par Hamidun News
GPT-6 Astra bat Claude Opus 5.5 au « Mafia » : un classement de 1859 contre 1549
Source : TG: @ai_machinelearning_big_data (Machinelearning). Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireTG: @ai_machinelearning_big_data (Machinelearning) ↗
Rédacteur en chef
Détection des mensongesGPT-6 Astra 1940, Opus 5.5 1500
Tromperie1806 pour Astra contre 1585 pour Opus 5.5
L’expérience est reproductiblele code est disponible sur GitHub
GPT-6 Astra bat Claude Opus 5.5 au « Mafia » : un classement de 1859 contre 1549
Vidéo à la une / Démo
Cliquez pour lire la vidéo originale ou consultez l'analyse complète ci-dessous.Voir sur YouTube ↗

La plupart des benchmarks vérifient si un modèle sait résoudre un problème. Presque aucun ne teste sa capacité à ne pas croire son interlocuteur sur parole. Pour des agents qui négocient, lisent des rapports rédigés par d’autres ou communiquent avec leurs semblables, cette compétence est bien plus utile en pratique. Le podcasteur Dwarkesh Patel a décidé de la mesurer directement : il a dépensé 20 000 dollars en API et organisé un tournoi entre 11 modèles sur Blood on the Clocktower.

Comment fonctionne le jeu

Blood on the Clocktower est une variante plus complexe du jeu Mafia. Un maître du jeu distribue les rôles secrets sans appartenir à aucun camp. Les membres du camp du mal sont minoritaires : un démon et deux serviteurs. Ils connaissent dès le départ l’identité de chacun. Les membres du camp du bien sont plus nombreux, mais ne savent rien, pas même qui fait partie de leur équipe.

Les membres du camp du bien disposent de pouvoirs qui leur fournissent secrètement des indices véridiques pendant la nuit. Par exemple, un joueur découvre le rôle d’un autre, tandis qu’un autre apprend combien de membres du camp du mal sont assis à côté de lui. Le jour, tout le monde discute : le camp du bien doit recouper les indices pour reconstituer la situation et identifier le démon. Pendant ce temps, le camp du mal fait passer des indices inventés pour des informations authentiques. À la fin de la journée, un vote décide d’exécuter un suspect, ou personne. Le bien gagne si le démon est exécuté ; le mal l’emporte lorsqu’il ne reste que deux joueurs en vie.

Pour assurer la rigueur de l’expérience, un modèle incarnait l’ensemble du camp du bien et un autre l’ensemble du camp du mal, puis ils échangeaient leurs rôles. Cette méthode a permis de mesurer séparément deux compétences : détecter les mensonges et tromper les autres.

Ce qu’a révélé le tournoi

Après 386 manches, GPT-6 Astra a pris la première place avec un classement de 1859. Claude Opus 5.5 a obtenu 1549. L’écart concerne les deux compétences : les classements atteignent respectivement 1940 et 1500 pour la détection des mensonges, et 1806 et 1585 pour la tromperie.

Certaines parties ont des allures presque humaines. Dans le camp du mal, Astra a froidement livré son propre allié à l’exécution pour gagner la confiance des autres et mener son camp à la victoire. Dans le camp du bien, Opus 5.5 a cru son adversaire sur parole, là où GPT a flairé un piège, revérifié les indices et démasqué le menteur.

Si l’on examine les modèles sortis cette année, une tendance se dessine : OpenAI progresse plus vite dans la détection de la désinformation, tandis que les avancées d’Anthropic dans ce domaine sont plus modestes. En matière de tromperie, les deux entreprises progressent à peu près au même rythme.

Les limites et les enseignements à en tirer

Quelques réserves s’imposent d’emblée. Il s’agit d’un seul jeu, d’un seul auteur et d’un seul ensemble de règles. Un classement dans Clocktower ne mesure pas la « fiabilité » générale d’un modèle, et un écart de plusieurs centaines de points ne garantit pas un avantage comparable dans votre produit. De plus, chaque modèle incarnait un camp entier, une situation très rare dans la vie réelle.

Premier enseignement pratique pour les équipes qui développent des agents : si votre agent reçoit des informations d’autres agents, d’utilisateurs ou de sources externes, testez la facilité avec laquelle il peut être trompé. Croire l’adversaire sur parole a coûté des parties à Opus 5.5 dans ce jeu ; en production, ce comportement se traduira par des actions erronées. Il faut évaluer séparément la capacité du modèle à revérifier les faits, au-delà de la seule qualité de ses réponses à des questions statiques.

Le deuxième enseignement concerne la sécurité. Des modèles capables de mentir efficacement existent déjà, et cette aptitude progresse à peu près au même rythme chez les deux entreprises. Les systèmes faisant intervenir plusieurs agents ont donc besoin de vérifications indépendantes, plutôt que de se fier aux déclarations d’un autre agent.

Troisième point positif : le projet est ouvert. Le code est disponible sur GitHub ; il existe aussi un site consacré au benchmark et une version en ligne permettant d’affronter soi-même l’IA. Pour les équipes qui choisissent un modèle destiné à des usages agentiques, c’est un moyen peu coûteux d’ajouter à leur batterie de tests une évaluation de la manipulation et de la résistance à la tromperie.

Dossier

Questions clés sur cet article

Comment fonctionne le jeu?

Blood on the Clocktower est une variante plus complexe du jeu Mafia. Un maître du jeu distribue les rôles secrets sans appartenir à aucun camp. Les membres du camp du mal sont minoritaires : un démon et deux serviteurs. Ils connaissent dès le départ l’identité de chacun. Les membres du camp du bien sont plus nombreux, mais ne savent rien, pas même qui fait partie de leur équipe. Les membres du camp du bien disposent de pouvoirs qui leur fournissent secrètement des indices véridiques pendant la nuit.

Que sait-on sur Ce qu’a révélé le tournoi ?

Après 386 manches, GPT-6 Astra a pris la première place avec un classement de 1859. Claude Opus 5.5 a obtenu 1549. L’écart concerne les deux compétences : les classements atteignent respectivement 1940 et 1500 pour la détection des mensonges, et 1806 et 1585 pour la tromperie. Certaines parties ont des allures presque humaines. Dans le camp du mal, Astra a froidement livré son propre allié à l’exécution pour gagner la confiance des autres et mener son camp à la victoire.

Que sait-on sur Les limites et les enseignements à en tirer ?

Quelques réserves s’imposent d’emblée. Il s’agit d’un seul jeu, d’un seul auteur et d’un seul ensemble de règles. Un classement dans Clocktower ne mesure pas la « fiabilité » générale d’un modèle, et un écart de plusieurs centaines de points ne garantit pas un avantage comparable dans votre produit. De plus, chaque modèle incarnait un camp entier, une situation très rare dans la vie réelle.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…