SpireBench faz 20 LLMs jogarem Slay the Spire inteiro: especialistas ainda estão à frente

Os autores do SpireBench testaram 20 grandes modelos de linguagem na versão comercial completa do roguelike de cartas Slay the Spire (StS), na dificuldade máxima. Os modelos de fronteira superam os algoritmos heurísticos de referência e chegam ao nível de um jogador humano médio, mas não alcançam os especialistas. A diferença cresce junto com a duração da partida. Os melhores modelos vencem o primeiro ato com a mesma frequência que os especialistas e, depois disso, começam a perder rendimento.

Por que usar um jogo longo

A maioria dos benchmarks agênticos é curta e episódica. O modelo resolve a tarefa em poucos passos, recebe uma nota e a avaliação termina. O raciocínio estratégico de longo prazo continua pouco estudado. Há ainda um segundo problema: em uma tarefa longa, é difícil separar o resultado em três componentes: conhecimento armazenado, raciocínio e sorte.

O StS serve bem para esse tipo de teste. Decisões iniciais, como quais cartas adicionar ao deck, determinam o sucesso muitas horas depois. Um erro no primeiro ato só aparece no terceiro. Os autores afirmam que o harness deles é o primeiro da categoria a entregar ao modelo o jogo original completo, e não um clone simplificado. Eles o comparam com os harnesses já existentes.

Onde os agentes perdem pontos

A análise por ato mostra como o atraso se forma. Em um trecho curto, os modelos fortes não ficam atrás dos especialistas, mas, a cada ato seguinte, os erros de estratégia acumulados tiram mais chances de vitória.

O que separa os modelos fortes dos fracos é a forma como jogam cada combate. Já a avaliação de risco está errada nos 20 modelos. Eles poupam vida, embora nesse tipo de jogo seja mais vantajoso gastá-la para fortalecer o deck. A cautela parece razoável em cada decisão isolada, mas, no longo prazo, reduz as chances de vitória.

Outras duas observações dizem respeito a conhecimento e memória:

• Os autores renomearam sistematicamente todos os termos do jogo. O resultado mostrou que parte do sucesso dos modelos depende do conhecimento sobre o próprio jogo adquirido no treinamento.
• Entre as partidas, os modelos escrevem anotações para si mesmos. Não há melhora por causa delas. Essas memórias costumam conter erros e são cautelosas demais.

Principais resultados

• Amostra: 20 LLMs, StS na dificuldade máxima, jogo completo.
• Os modelos de fronteira superam os algoritmos heurísticos de referência e se igualam ao humano médio.
• Ainda há uma grande distância até os especialistas, e ela aumenta com a duração da partida.
• No primeiro ato, os melhores modelos não ficam atrás dos especialistas em taxa de vitória.
• O que separa os fortes dos fracos é a qualidade de jogo em combates individuais.
• Defeito comum: subestimar o benefício de gastar vida para ganhar força.
• A renomeação de termos revela a dependência de conhecimento pré-treinado sobre o jogo.
• A memória escrita pelo próprio agente entre as partidas não traz ganho.

O que os desenvolvedores de agentes devem levar daqui

O benchmark não está saturado: mesmo os melhores modelos têm espaço para evoluir, algo raro nos testes atuais. Os autores o descrevem como uma ferramenta que mostra onde e por que o agente erra, e não apenas atribui uma nota final.

Os resultados levam a algumas conclusões práticas. Primeiro, vale avaliar o agente separadamente nas etapas inicial, intermediária e final, porque a taxa geral de vitórias esconde onde exatamente começa a degradação. Segundo, renomear termos é uma forma barata de verificar se o modelo resolve a tarefa ou apenas a lembra dos dados de treinamento. Terceiro, os mecanismos de memória de longo prazo precisam ser testados quanto ao ganho real. Se o agente escreve conclusões para si e não melhora, as anotações podem reforçar hábitos errados e cautelosos demais. Por fim, convém testar a calibração da postura diante do risco separadamente: um modelo que evita perdas pode perder justamente nas situações em que é preciso investir recursos em crescimento futuro.

A conclusão se baseia no resumo do preprint. Os nomes dos modelos, as taxas de vitória exatas e a metodologia de comparação com humanos constam apenas na versão completa do artigo.