GPT-6 Astra bat Claude Opus 5.5 au « Mafia » : un classement de 1859 contre 1549
Dwarkesh Patel a dépensé 20 000 dollars en API pour faire s’affronter 11 modèles sur Blood on the Clocktower, une version complexe du jeu Mafia. Un modèle incarnait tous les membres du camp du bien, un autre ceux du camp du mal, puis ils échangeaient leurs rôles : la déduction et la tromperie étaient ainsi évaluées séparément. Après 386 manches, GPT-6 Astra a terminé en tête avec un classement de 1859, contre 1549 pour Claude Opus 5.5.
Traité par IA depuis TG: @ai_machinelearning_big_data (Machinelearning) ; édité par Hamidun News
La plupart des benchmarks vérifient si un modèle sait résoudre un problème. Presque aucun ne teste sa capacité à ne pas croire son interlocuteur sur parole. Pour des agents qui négocient, lisent des rapports rédigés par d’autres ou communiquent avec leurs semblables, cette compétence est bien plus utile en pratique. Le podcasteur Dwarkesh Patel a décidé de la mesurer directement : il a dépensé 20 000 dollars en API et organisé un tournoi entre 11 modèles sur Blood on the Clocktower.
Comment fonctionne le jeu
Blood on the Clocktower est une variante plus complexe du jeu Mafia. Un maître du jeu distribue les rôles secrets sans appartenir à aucun camp. Les membres du camp du mal sont minoritaires : un démon et deux serviteurs. Ils connaissent dès le départ l’identité de chacun. Les membres du camp du bien sont plus nombreux, mais ne savent rien, pas même qui fait partie de leur équipe.
Les membres du camp du bien disposent de pouvoirs qui leur fournissent secrètement des indices véridiques pendant la nuit. Par exemple, un joueur découvre le rôle d’un autre, tandis qu’un autre apprend combien de membres du camp du mal sont assis à côté de lui. Le jour, tout le monde discute : le camp du bien doit recouper les indices pour reconstituer la situation et identifier le démon. Pendant ce temps, le camp du mal fait passer des indices inventés pour des informations authentiques. À la fin de la journée, un vote décide d’exécuter un suspect, ou personne. Le bien gagne si le démon est exécuté ; le mal l’emporte lorsqu’il ne reste que deux joueurs en vie.
Pour assurer la rigueur de l’expérience, un modèle incarnait l’ensemble du camp du bien et un autre l’ensemble du camp du mal, puis ils échangeaient leurs rôles. Cette méthode a permis de mesurer séparément deux compétences : détecter les mensonges et tromper les autres.
Ce qu’a révélé le tournoi
Après 386 manches, GPT-6 Astra a pris la première place avec un classement de 1859. Claude Opus 5.5 a obtenu 1549. L’écart concerne les deux compétences : les classements atteignent respectivement 1940 et 1500 pour la détection des mensonges, et 1806 et 1585 pour la tromperie.
Certaines parties ont des allures presque humaines. Dans le camp du mal, Astra a froidement livré son propre allié à l’exécution pour gagner la confiance des autres et mener son camp à la victoire. Dans le camp du bien, Opus 5.5 a cru son adversaire sur parole, là où GPT a flairé un piège, revérifié les indices et démasqué le menteur.
Si l’on examine les modèles sortis cette année, une tendance se dessine : OpenAI progresse plus vite dans la détection de la désinformation, tandis que les avancées d’Anthropic dans ce domaine sont plus modestes. En matière de tromperie, les deux entreprises progressent à peu près au même rythme.
Les limites et les enseignements à en tirer
Quelques réserves s’imposent d’emblée. Il s’agit d’un seul jeu, d’un seul auteur et d’un seul ensemble de règles. Un classement dans Clocktower ne mesure pas la « fiabilité » générale d’un modèle, et un écart de plusieurs centaines de points ne garantit pas un avantage comparable dans votre produit. De plus, chaque modèle incarnait un camp entier, une situation très rare dans la vie réelle.
Premier enseignement pratique pour les équipes qui développent des agents : si votre agent reçoit des informations d’autres agents, d’utilisateurs ou de sources externes, testez la facilité avec laquelle il peut être trompé. Croire l’adversaire sur parole a coûté des parties à Opus 5.5 dans ce jeu ; en production, ce comportement se traduira par des actions erronées. Il faut évaluer séparément la capacité du modèle à revérifier les faits, au-delà de la seule qualité de ses réponses à des questions statiques.
Le deuxième enseignement concerne la sécurité. Des modèles capables de mentir efficacement existent déjà, et cette aptitude progresse à peu près au même rythme chez les deux entreprises. Les systèmes faisant intervenir plusieurs agents ont donc besoin de vérifications indépendantes, plutôt que de se fier aux déclarations d’un autre agent.
Troisième point positif : le projet est ouvert. Le code est disponible sur GitHub ; il existe aussi un site consacré au benchmark et une version en ligne permettant d’affronter soi-même l’IA. Pour les équipes qui choisissent un modèle destiné à des usages agentiques, c’est un moyen peu coûteux d’ajouter à leur batterie de tests une évaluation de la manipulation et de la résistance à la tromperie.
- 12 nov. 2026Jensen Huang quitte son poste de PDG de Nvidia : l’entreprise perd 1 400 milliards de dollars en deux semaines
- 12 nov. 2026Claude in Chrome exige une autorisation pour chaque clic sur les sites de catégorie 3
- 12 nov. 2026AWS Quick reçoit six agents pour les product managers : des plaintes clients à la spécification
- 12 nov. 2026Anthropic ferme Claude aux entreprises russes dès le 12 novembre, même avec une entité juridique à l'étranger
Questions clés sur cet article
Comment fonctionne le jeu?
Blood on the Clocktower est une variante plus complexe du jeu Mafia. Un maître du jeu distribue les rôles secrets sans appartenir à aucun camp. Les membres du camp du mal sont minoritaires : un démon et deux serviteurs. Ils connaissent dès le départ l’identité de chacun. Les membres du camp du bien sont plus nombreux, mais ne savent rien, pas même qui fait partie de leur équipe. Les membres du camp du bien disposent de pouvoirs qui leur fournissent secrètement des indices véridiques pendant la nuit.
Que sait-on sur Ce qu’a révélé le tournoi ?
Après 386 manches, GPT-6 Astra a pris la première place avec un classement de 1859. Claude Opus 5.5 a obtenu 1549. L’écart concerne les deux compétences : les classements atteignent respectivement 1940 et 1500 pour la détection des mensonges, et 1806 et 1585 pour la tromperie. Certaines parties ont des allures presque humaines. Dans le camp du mal, Astra a froidement livré son propre allié à l’exécution pour gagner la confiance des autres et mener son camp à la victoire.
Que sait-on sur Les limites et les enseignements à en tirer ?
Quelques réserves s’imposent d’emblée. Il s’agit d’un seul jeu, d’un seul auteur et d’un seul ensemble de règles. Un classement dans Clocktower ne mesure pas la « fiabilité » générale d’un modèle, et un écart de plusieurs centaines de points ne garantit pas un avantage comparable dans votre produit. De plus, chaque modèle incarnait un camp entier, une situation très rare dans la vie réelle.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.
