SpireBench pone a 20 LLM a jugar Slay the Spire completo: los expertos siguen por delante

Los autores de SpireBench evaluaron a 20 modelos de lenguaje grandes en la versión comercial completa del roguelike de cartas Slay the Spire (StS) en la dificultad máxima. Los modelos de frontera superan a los algoritmos heurísticos de referencia y llegan al nivel de un jugador humano medio, pero no alcanzan a los expertos. La brecha crece a medida que se alarga la partida. Los mejores modelos ganan el primer acto con la misma frecuencia que los expertos y después empiezan a flaquear.

Por qué hace falta un juego largo

La mayoría de los benchmarks agénticos son cortos y episódicos. El modelo resuelve una tarea en unos pocos pasos, recibe una puntuación y ahí termina todo. El razonamiento estratégico a larga distancia sigue siendo un terreno poco explorado. Hay un segundo problema: en una tarea larga es difícil separar el resultado en tres componentes: conocimiento almacenado, razonamiento y suerte.

StS sirve para este tipo de prueba. Las decisiones tempranas, como qué cartas añadir al mazo, determinan el éxito muchas horas de juego después. Un error del primer acto se manifiesta en el tercero. Los autores afirman que su arnés (harness) es el primero de su clase que ofrece al modelo el juego original completo, y no un clon simplificado. Lo comparan con los arneses ya existentes.

Dónde pierden puntos los agentes

El desglose por actos muestra cómo se produce el retraso. En un tramo corto, los modelos fuertes no se quedan atrás respecto a los expertos, pero con cada acto siguiente los errores de estrategia acumulados les restan más probabilidades de victoria.

Los modelos fuertes se distinguen de los débiles por cómo juegan cada combate. Aun así, los 20 evalúan mal el riesgo. Los modelos conservan la salud, aunque en juegos de este tipo resulta más rentable gastarla para fortalecer el mazo. La cautela parece razonable en cada decisión aislada, pero a larga distancia reduce las probabilidades de ganar.

Otras dos observaciones se refieren al conocimiento y la memoria:

• Los autores renombraron de forma sistemática todos los términos del juego. El resultado mostró que parte del éxito de los modelos depende de su conocimiento del propio juego, adquirido durante el entrenamiento.
• Entre partidas, los modelos se escriben notas a sí mismos. No aportan ninguna mejora. Esos recuerdos suelen contener errores y son demasiado cautelosos.

Resultados clave

• Muestra: 20 LLM, dificultad máxima de StS, juego completo.
• Los modelos de frontera superan a los algoritmos heurísticos de referencia y igualan al humano medio.
• Queda una gran distancia con los expertos, y crece con la duración de la partida.
• En el primer acto, los mejores modelos no se quedan por detrás de los expertos en porcentaje de victorias.
• Lo que separa a los modelos fuertes de los débiles es la calidad de juego en cada combate.
• Defecto común: subestimar el beneficio de gastar salud para ganar fuerza.
• El renombrado de términos revela la dependencia del conocimiento previo del juego adquirido en el preentrenamiento.
• La memoria autogenerada entre partidas no produce ninguna mejora.

Qué deben llevarse los desarrolladores de agentes

El benchmark no está saturado: incluso los mejores modelos tienen margen de mejora, algo poco habitual en las pruebas actuales. Los autores lo describen como una herramienta que muestra dónde y por qué falla un agente, y no solo como un sistema que asigna una puntuación final.

De los resultados se desprenden varias conclusiones prácticas. Primera: conviene evaluar a un agente por separado en las etapas temprana, media y tardía, porque el porcentaje global de victorias oculta dónde empieza exactamente la degradación. Segunda: renombrar términos es una forma barata de comprobar si el modelo resuelve la tarea o la recuerda de sus datos de entrenamiento.

Tercera: los mecanismos de memoria a largo plazo deben verificarse por su mejora real. Si el agente escribe sus conclusiones y no mejora, las notas pueden reforzar hábitos erróneos y demasiado cautelosos. Por último, conviene probar por separado la calibración de la actitud ante el riesgo: un modelo que evita las pérdidas puede perder allí donde hay que invertir recursos en crecimiento futuro.

La conclusión se basa en el resumen del preprint. Los nombres de los modelos, los porcentajes exactos de victorias y la metodología de comparación con humanos solo figuran en la versión completa del artículo.