Agentes LLM criaram em 20 dias uma IA para Hearthstone Battlegrounds melhor que os 10 melhores jogadores

Pesquisadores do MCG-NJU (Changlian Ma e Limin Wang) testaram o que os agentes LLM fazem melhor: jogar ou construir. A resposta foi inequívoca. O sistema AutoTavern montou em 20 dias um simulador completo de Hearthstone Battlegrounds e treinou nele o agente TavernAgent, que superou, no ladder real, os dez melhores jogadores do servidor. O rating subiu de 6000 para cerca de 15 000 MMR e, nas últimas 20 partidas, o bot teve colocação média de 1,60 e 80% de vitórias.

Battlegrounds é um ambiente difícil para IA: oito jogadores, lojas e combates aleatórios, informação oculta e quase mil cartas que interagem entre si. Por isso os autores o escolheram como teste para agentes "pesquisadores", capazes de levar um problema complexo dos dados brutos até um sistema que se equipara aos humanos.

Uma fábrica de pesquisa em vez de um jogador

O AutoTavern funciona como um sistema de pesquisa que se aprimora sozinho. Agentes LLM especializados compartilham uma memória de pesquisa tipada, cada afirmação passa por portões de verificação, e as partidas reais fecham o ciclo de feedback. Com base nesses resultados, os agentes melhoram o simulador, os oponentes e a política, além do próprio processo de pesquisa. O humano define os objetivos e as regras para mecânicas ambíguas, ou seja, atua como árbitro, não como desenvolvedor.

O primeiro resultado foi o TavernGym: segundo os autores, a primeira cópia exata e reproduzível do jogo real com o conjunto completo de conteúdo. Sobre ele, os agentes lançaram 23 versões do TavernAgent. O agente foi treinado com PPO contra oponentes calibrados em partidas reais e joga partidas completas no ladder de forma totalmente autônoma.

Números contra humanos e contra LLMs

Na métrica do leaderboard público, o TavernAgent tem colocação média de 1,60 e 80% de primeiros lugares nos últimos 20 registros. Entre os dez jogadores de maior rating do servidor, os mesmos indicadores são 2,34 e 59%. O bot vence em todas as estatísticas.

Para comparar com os modelos de linguagem, os autores criaram o TavernBench: 960 tarefas em 40 cenários. Principais resultados:

• o TavernAgent resolve 91% das tarefas de jogo, e as melhores LLMs de fronteira, no máximo 63%;
• o tempo de resolução do TavernAgent é de 0,03 s, contra até 26 s das LLMs;
• dentro de um segundo, o tempo que uma jogada real concede, o TavernAgent mantém 90% da qualidade, e nenhuma LLM passa de 26%;
• rating no ladder: de 6000 para cerca de 15 000;
• colocação média: 1,60 contra 2,34 do top 10 do servidor;
• proporção de primeiros lugares: 80% contra 59%;
• volume de trabalho: 20 dias, 23 versões do agente.

Os autores chegam a uma conclusão dura: agentes LLM constroem muito melhor do que jogam. Um modelo de linguagem que precisa de dezenas de segundos para pensar numa jogada perde para uma política pequena e especializada, criada por ele mesmo ou por seus pares.

O que levar daqui

A principal lição prática: não vale a pena obrigar a LLM a tomar cada decisão do jogo. É mais vantajoso usá-la como engenheira, que constrói o ambiente, verifica as regras, treina um modelo compacto e o aprimora de forma iterativa com dados reais. O mesmo vale para qualquer tarefa com limites rígidos de latência: trading, logística, robótica, simulações.

Segundo: portões de verificação e memória tipada compartilhada parecem uma receita viável para ciclos de pesquisa autônomos e longos. Sem verificar as afirmações, os agentes acumulam erros rapidamente, e aqui o simulador exato serviu de alicerce para todo o resto.

Terceiro: o código do TavernGym e o benchmark TavernBench estão abertos no GitHub (MCG-NJU/AutoTavern). Isso dá à comunidade um ambiente reproduzível para testar sistemas de agentes em um jogo com informação oculta e aleatoriedade. Vale lembrar que os resultados se referem a um único jogo e foram divulgados pelos próprios autores, e que o humano no ciclo ainda resolveu as questões ambíguas das mecânicas. Mesmo assim, 20 dias do zero a um nível acima dos melhores jogadores do servidor mostram para onde caminha a automação da pesquisa aplicada.