Un equipo entrena a un agente con partidas ajenas y termina en el puesto 436 de Kaggriculture

Una nueva versión del agente ganó más dinero. ¿Está lista para llegar a los usuarios? Todavía es pronto: quizá simplemente se encontró con un mercado más favorable. Los participantes de Kaggriculture se enfrentaron precisamente a este problema. Compararon versiones en partidas idénticas y después enseñaron a un modelo a imitar las decisiones de jugadores destacados. Este orden de trabajo resulta útil para quienes desarrollan agentes: primero hace falta una forma de medir los cambios; después se puede elegir la arquitectura.

En un análisis publicado en Habr, el equipo afirma haber terminado en el puesto 436 entre 10 148 equipos y haber obtenido una medalla de plata. Durante dos meses, los participantes probaron seis enfoques, desde reglas hasta un transformer de unos 20 millones de parámetros. Según su evaluación, el modelo más potente fue un transformer entrenado mediante clonación de comportamiento, o behavior cloning: a partir del estado del juego, aprendía a seleccionar acciones de partidas registradas.

Primero separaron la calidad del agente de la suerte con el mercado

En Kaggriculture, dos agentes gestionan granjas vecinas y venden sus productos en un mercado compartido. Al cabo de 30 días de juego, gana quien tiene más dinero. Si ambos producen mucha leche, su precio baja. Si abre una tienda de hilos, aumenta la demanda de lana. No basta con producir más: hay que entender qué se podrá vender.

La combinación de tiendas es aleatoria e influye mucho en los ingresos. En la muestra estudiada por el equipo, la propia partida explicaba el 88,8% de la varianza del saldo final. Esto no significa que el azar determine el 88,8% de las victorias: el indicador describe la dispersión de las cantidades ganadas.

Para comparar versiones, los desarrolladores recreaban la partida con la misma semilla del generador de números aleatorios. El agente nuevo sustituía al anterior, mientras el rival repetía las acciones registradas. Después contaban cuántas derrotas anteriores se convertían en victorias y cuántas victorias se perdían.

El método tiene una limitación importante: el rival grabado no reacciona al nuevo comportamiento. Este entorno de pruebas ayuda a seleccionar cambios, pero sus resultados no pueden presentarse como una tasa de victorias en un torneo en vivo. Para un equipo de producto, la analogía es clara: un conjunto fijo de tareas facilita la comparación entre versiones, aunque también se necesitan pruebas específicas de interacción con un entorno cambiante.

Copiar ejemplos resultó útil, pero por poco tiempo

El primer método de imitación no requería entrenar una red neuronal. El equipo recopiló 782 grabaciones de partidas de un jugador destacado. El agente buscaba una situación similar según la ubicación de los objetos, las tiendas y los precios recientes, y después repetía la acción de una grabación adecuada.

Al principio de la partida funcionaba bien: las aperturas se repetían con frecuencia. Más adelante, los estados del juego divergían y había menos continuaciones adecuadas. Al probarla en los estados exactos del jugador original, la copia reproducía sus acciones en el 85% de los casos durante los días 6–14, pero solo en el 2,5% a partir del día 15.

Para los desarrolladores, este diagnóstico es útil. Un agente puede desenvolverse con soltura en el comienzo conocido de un proceso y perder el rumbo tras tomar varias decisiones propias. Por eso no basta con una única cifra de precisión media: conviene examinar por separado las etapas de la tarea y los puntos en los que se agotan los ejemplos adecuados.

La red neuronal necesitaba decisiones coherentes

El siguiente paso fue un transformer. El estado de la granja se representó mediante 197 tokens: casillas, trabajadores, productos, mercado y otras entidades. El modelo recibía información de ambas granjas, mientras que la memoria entre turnos le permitía tener en cuenta observaciones y acciones anteriores.

Durante el entrenamiento apareció un problema de etiquetado. Se puede llegar a una casilla por varios caminos igual de cortos, pero la grabación solo contiene uno. El equipo modificó la función de pérdida para que el modelo no recibiera una penalización por dar otro paso equivalente hacia el mismo objetivo. La lección práctica es sencilla: si se admiten varias decisiones buenas, el entrenamiento debe contemplarlo.

Combinar grabaciones de jugadores destacados tampoco garantizaba una mejora. Sus estrategias implicaban inversiones distintas: una acción razonable después de comprar terreno podía resultar inadecuada para una granja que había gastado el dinero en animales. En los primeros experimentos, el modelo promediaba esas decisiones y jugaba peor.

Este caso ofrece una secuencia práctica para experimentar con agentes: construir una versión de referencia sencilla, preparar escenarios reproducibles, comprobar la coherencia de las demostraciones y analizar los errores por etapas. Una medalla de plata en una simulación de juego no demuestra que el método esté listo para tareas empresariales. Sin embargo, las comprobaciones descritas ayudan a entender por qué un nuevo aumento de la complejidad del modelo funcionó de verdad, o solo pareció convincente.