GPT-6 Astra supera a Claude Opus 5.5 en «Mafia»: 1859 puntos frente a 1549

La mayoría de los benchmarks comprueban si un modelo sabe resolver un problema. Casi ninguno evalúa si sabe evitar creer a su interlocutor sin más. Para los agentes que negocian, leen informes ajenos o se comunican con otros agentes, esta habilidad resulta mucho más práctica. El podcaster Dwarkesh Patel decidió medirla directamente: gastó 20.000 dólares en llamadas a la API y organizó un torneo de Blood on the Clocktower entre 11 modelos.

Cómo funciona el juego

Blood on the Clocktower es una variante más compleja de Mafia. Hay un moderador que reparte los roles secretos y no juega para ningún bando. Los malos son minoría: un demonio y dos esbirros. Desde el principio saben quién es quién dentro de su bando. Los buenos son más numerosos, pero no saben nada, ni siquiera quién forma parte de su equipo.

Los buenos tienen habilidades que, por la noche, les proporcionan pistas verídicas en secreto. Por ejemplo, un jugador descubre el rol de otro, mientras que otro averigua cuántos jugadores malos están sentados a su lado. Durante el día, todos conversan, y los buenos deben encajar las pistas para identificar al demonio. Mientras tanto, los malos hacen pasar pistas inventadas por auténticas. Al final del día, una votación decide si se ejecuta a un sospechoso o a nadie. Los buenos ganan si se ejecuta al demonio; los malos, si solo quedan dos jugadores vivos.

Para mantener el experimento controlado, un modelo jugaba por todo el bando de los buenos y otro por todo el de los malos; después intercambiaban los papeles. Así se pudieron medir por separado dos habilidades: detectar mentiras y engañar.

Qué mostró el torneo

Tras 386 rondas, GPT-6 Astra obtuvo el primer puesto con una puntuación de 1859. Claude Opus 5.5 consiguió 1549. La diferencia se observa en ambas habilidades. En detección de mentiras, las puntuaciones fueron de 1940 y 1500, respectivamente; en engaño, de 1806 y 1585.

Algunas partidas parecen casi humanas. Jugando en el bando de los malos, Astra entregó fríamente a uno de sus propios aliados para que lo ejecutaran, con el fin de ganarse la confianza de los demás y llevar a su equipo a la victoria. En el bando de los buenos, Opus 5.5 creyó a su rival sin más en una situación en la que GPT sospechó una trampa, volvió a comprobar las pruebas e identificó al impostor.

Si se observan los modelos lanzados este año, el panorama es el siguiente: OpenAI avanza más rápido en la detección de desinformación, mientras que los progresos de Anthropic en ese ámbito son más modestos. En la capacidad de engañar, ambas empresas avanzan aproximadamente al mismo ritmo.

Limitaciones y qué hacer al respecto

Primero, las salvedades. Se trata de un solo juego, un solo creador y un solo conjunto de reglas. La puntuación en Clocktower no equivale a la «fiabilidad» general de un modelo, y una diferencia de cientos de puntos no garantiza una brecha equivalente en tu producto. Además, cada modelo controlaba a todo un bando a la vez, algo que casi nunca sucede en la vida real.

La conclusión práctica para quienes desarrollan agentes: si tu agente recibe información de otros agentes, usuarios o fuentes externas, comprueba lo fácil que resulta engañarlo. Creer a un interlocutor sin más le costó partidas a Opus 5.5 en este juego; en producción, ese comportamiento se traducirá en acciones incorrectas. Conviene evaluar por separado la capacidad del modelo para volver a comprobar los hechos, además de la calidad de sus respuestas a preguntas estáticas.

La segunda conclusión tiene que ver con la seguridad. Ya existen modelos que mienten bien, y ambas empresas mejoran esa capacidad aproximadamente al mismo ritmo. Por tanto, los sistemas con varios agentes necesitan comprobaciones independientes en lugar de confiar en lo que afirma otro agente.

Un tercer punto a favor: el proyecto es abierto. El código está en GitHub, hay un sitio web del benchmark y una versión en línea en la que cualquiera puede jugar contra la IA. Para los equipos que eligen un modelo para flujos de trabajo con agentes, es una forma económica de incorporar a su batería de pruebas una evaluación de la manipulación y la resistencia al engaño.