GPT-6 Astra supera Claude Opus 5.5 no «Máfia»: pontuação de 1859 contra 1549

A maioria dos benchmarks verifica se um modelo consegue resolver um problema. Quase nenhum avalia se ele consegue evitar acreditar na palavra de um interlocutor sem questionar. Para agentes que negociam, leem relatórios de terceiros ou conversam com outros agentes, essa é uma habilidade muito mais prática. O podcaster Dwarkesh Patel decidiu medi-la diretamente: gastou US$ 20.000 em chamadas de API e organizou um torneio de Blood on the Clocktower entre 11 modelos.

Como o jogo funciona

Blood on the Clocktower é uma versão mais complexa de Máfia. Um moderador distribui papéis secretos e não joga por nenhum dos lados. Os jogadores do mal são minoria: um demônio e dois lacaios. Desde o início, eles sabem quem é quem em sua equipe. Os jogadores do bem são mais numerosos, mas não sabem nada, nem mesmo quem faz parte do próprio time.

Os jogadores do bem têm habilidades que fornecem pistas verdadeiras em segredo durante a noite. Por exemplo, um jogador descobre o papel de outro, enquanto outro fica sabendo quantos jogadores do mal estão sentados ao seu lado. Durante o dia, todos conversam, e os jogadores do bem precisam juntar as pistas e identificar o demônio. Enquanto isso, os jogadores do mal apresentam pistas inventadas como se fossem verdadeiras. No fim do dia, uma votação decide se um suspeito será executado ou se ninguém será. O bem vence se o demônio for executado; o mal vence se restarem apenas dois jogadores vivos.

Para manter o experimento controlado, um modelo jogava por toda a equipe do bem e outro por toda a equipe do mal; depois, eles trocavam de lado. Isso permitiu medir duas habilidades separadamente: detectar mentiras e enganar.

O que o torneio mostrou

Após 386 rodadas, GPT-6 Astra ficou em primeiro lugar com uma pontuação de 1859. Claude Opus 5.5 obteve 1549. A diferença aparece nas duas habilidades. Na detecção de mentiras, as pontuações foram de 1940 e 1500, respectivamente; no engano, de 1806 e 1585.

Algumas partidas parecem quase humanas. Jogando pelo mal, Astra entregou friamente um de seus próprios aliados à execução para conquistar a confiança dos demais e levar sua equipe à vitória. Jogando pelo bem, Opus 5.5 acreditou na palavra de um adversário em uma situação na qual GPT suspeitou de uma armadilha, conferiu novamente as evidências e identificou o mentiroso.

Considerando os modelos lançados neste ano, o panorama é o seguinte: a OpenAI avança mais rápido na detecção de desinformação, enquanto os ganhos da Anthropic nessa área são mais modestos. Na capacidade de enganar, as duas empresas avançam aproximadamente no mesmo ritmo.

Limitações e o que fazer a respeito

Primeiro, as ressalvas. Trata-se de um único jogo, um único criador e um único conjunto de regras. A pontuação no Clocktower não equivale à «confiabilidade» geral de um modelo, e uma diferença de centenas de pontos não garante uma distância equivalente no seu produto. Além disso, cada modelo controlava um lado inteiro de uma vez, algo que quase nunca acontece na vida real.

A conclusão prática para quem desenvolve agentes: se o seu agente recebe informações de outros agentes, usuários ou fontes externas, teste a facilidade com que ele pode ser enganado. Acreditar na palavra de alguém sem questionar custou partidas ao Opus 5.5 nesse jogo; em produção, esse comportamento se traduzirá em ações incorretas. A capacidade do modelo de conferir os fatos novamente merece uma avaliação própria, além da qualidade das respostas a perguntas estáticas.

A segunda conclusão diz respeito à segurança. Modelos que mentem bem já existem, e essa habilidade está melhorando aproximadamente no mesmo ritmo nas duas empresas. Portanto, sistemas com vários agentes precisam de verificações independentes em vez de confiar nas afirmações de outro agente.

Um terceiro ponto positivo: o projeto é aberto. O código está no GitHub, há um site do benchmark e uma versão on-line em que é possível jogar contra a IA. Para equipes que escolhem um modelo para fluxos de trabalho com agentes, essa é uma maneira econômica de acrescentar à sua bateria de testes uma avaliação de manipulação e resistência ao engano.