Agentes LLM construyen en 20 días una IA para Hearthstone Battlegrounds más fuerte que los 10 mejores jugadores

Investigadores de MCG-NJU (Changlian Ma y Limin Wang) quisieron comprobar en qué son mejores los agentes LLM: en jugar o en construir. La respuesta fue inequívoca. Su sistema AutoTavern montó en 20 días un simulador completo de Hearthstone Battlegrounds y entrenó en él al agente TavernAgent, que en la clasificación en vivo superó a los diez mejores jugadores del servidor. El rating subió de 6000 a unos 15 000 MMR y, en las últimas 20 partidas, el bot logró una posición media de 1,60 y un 80% de victorias.

Battlegrounds es un entorno difícil para la IA: ocho jugadores, tiendas y combates aleatorios, información oculta y casi mil cartas que interactúan entre sí. Por eso los autores lo eligieron como prueba para agentes «investigadores», capaces de llevar un problema complejo desde los datos en bruto hasta un sistema que compite de igual a igual con los humanos.

Una fábrica de investigación en lugar de un jugador

AutoTavern funciona como un sistema de investigación que se mejora a sí mismo. Agentes LLM especializados comparten una memoria de investigación tipada, cada afirmación pasa por una puerta de verificación y las partidas en vivo cierran el bucle de retroalimentación. Con esos resultados, los agentes mejoran el simulador, los oponentes y la política, y también su propio proceso de investigación. El humano fija los objetivos y las reglas para las mecánicas ambiguas: actúa como árbitro, no como desarrollador.

El primer resultado fue TavernGym que, según los autores, es la primera copia exacta y reproducible del juego en vivo con el conjunto completo de contenido. Sobre esa base, los agentes publicaron 23 versiones de TavernAgent. El agente se entrenó con PPO contra oponentes calibrados con partidas reales y juega partidos completos en la clasificación de forma totalmente autónoma.

Las cifras frente a los humanos y frente a los LLM

Según la métrica de la tabla de clasificación pública, TavernAgent obtiene una posición media de 1,60 y un 80% de primeros puestos en los últimos 20 registros. Los diez jugadores con mejor rating del servidor tienen 2,34 y un 59% en esas mismas métricas. El bot gana en todas las estadísticas.

Para compararlo con los modelos de lenguaje, los autores crearon TavernBench: 960 tareas en 40 escenarios. Estos son los resultados principales:

• TavernAgent resuelve el 91% de las tareas de juego; los mejores LLM de frontera, no más del 63%;
• el tiempo de resolución de TavernAgent es de 0,03 s; el de los LLM, de hasta 26 s;
• dentro de un segundo, el tiempo que permite un turno en vivo, TavernAgent conserva el 90% de su calidad, y ningún LLM supera el 26%;
• rating en la clasificación: de 6000 a unos 15 000;
• posición media: 1,60 frente a 2,34 del top 10 del servidor;
• proporción de primeros puestos: 80% frente a 59%;
• volumen de trabajo: 20 días, 23 versiones del agente.

Los autores formulan su conclusión sin rodeos: los agentes LLM construyen mucho mejor de lo que juegan. Un modelo de lenguaje que necesita decenas de segundos para pensar cada turno pierde ante una pequeña política especializada creada por él mismo o por sus colegas.

Qué conviene llevarse

La principal lección práctica: no conviene obligar a un LLM a tomar cada decisión de juego. Es más rentable usarlo como un ingeniero que construye el entorno, verifica las reglas, entrena un modelo compacto y lo mejora de forma iterativa con datos reales. Lo mismo vale para cualquier tarea con límites estrictos de latencia: trading, logística, robótica, simulaciones.

Segunda: las puertas de verificación y la memoria tipada compartida parecen una receta que funciona para ciclos de investigación autónomos y largos. Sin verificar las afirmaciones, los agentes acumulan errores con rapidez, y aquí el simulador exacto fue la base de todo lo demás.

Tercera: el código de TavernGym y el benchmark TavernBench están abiertos en GitHub (MCG-NJU/AutoTavern). Esto da a la comunidad un banco de pruebas reproducible para evaluar sistemas de agentes en un juego con información oculta y aleatoriedad. Conviene recordar que los resultados corresponden a un solo juego y los declaran los propios autores, y que el humano dentro del ciclo sí resolvió las cuestiones ambiguas de las mecánicas. Aun así, 20 días desde cero hasta superar a los mejores jugadores del servidor indican hacia dónde avanza la automatización de la investigación aplicada.