Equipe treina agente com partidas de outros jogadores e termina em 436º no Kaggriculture

Uma nova versão do agente ganhou mais dinheiro. Já pode ser entregue aos usuários? Ainda é cedo: talvez ela simplesmente tenha encontrado um mercado mais favorável. Participantes do Kaggriculture enfrentaram exatamente esse problema. Compararam versões em partidas idênticas e depois ensinaram um modelo a imitar as decisões de jogadores fortes. Essa sequência de trabalho é útil para desenvolvedores de agentes: primeiro é preciso definir como medir as mudanças; depois, escolher a arquitetura.

Em uma análise publicada no Habr, a equipe relata ter conquistado o 436º lugar entre 10 148 equipes e uma medalha de prata. Ao longo de dois meses, os participantes testaram seis abordagens, de regras a um transformer com cerca de 20 milhões de parâmetros. Na avaliação deles, o modelo mais forte foi um transformer treinado por clonagem de comportamento, ou behavior cloning: a partir do estado do jogo, ele aprendia a selecionar ações de partidas registradas.

Primeiro, separaram a qualidade do agente da sorte com o mercado

No Kaggriculture, dois agentes administram fazendas vizinhas e vendem sua produção em um mercado compartilhado. Após 30 dias de jogo, vence quem tiver mais dinheiro. Se ambos produzem muito leite, o preço cai. Se uma loja de fios abre, surge uma demanda adicional por lã. Produzir mais não basta: é preciso entender o que será possível vender.

O conjunto de lojas é aleatório e influencia bastante a receita. Na amostra estudada pela equipe, a própria partida respondia por 88,8% da variância do saldo final. Isso não significa que o acaso determine 88,8% das vitórias: o indicador descreve a dispersão dos valores obtidos.

Para comparar versões, os desenvolvedores recriavam a partida com a mesma semente do gerador de números aleatórios. O novo agente substituía o antigo, enquanto o adversário repetia as ações registradas. Depois, contavam quantas derrotas anteriores se transformavam em vitórias e quantas vitórias eram perdidas.

O método tem uma limitação importante: o adversário gravado não reage ao novo comportamento. Esse ambiente de testes ajuda a selecionar mudanças, mas seus resultados não podem ser apresentados como uma taxa de vitórias em um torneio ao vivo. Para equipes de produto, a analogia é clara: um conjunto fixo de tarefas facilita a comparação entre versões, mas também são necessários testes específicos de interação com um ambiente em transformação.

Copiar exemplos foi útil, mas por pouco tempo

A primeira abordagem de imitação dispensava o treinamento de uma rede neural. A equipe reuniu 782 gravações de partidas de um jogador forte. O agente procurava uma situação semelhante com base na posição dos objetos, nas lojas e nos preços recentes, e então repetia a ação de uma gravação compatível.

No início do jogo, isso funcionava bem: as aberturas se repetiam com frequência. Mais adiante, os estados divergiam e havia menos continuações adequadas. Quando testada nos estados exatos do jogador original, a cópia reproduzia suas ações em 85% dos casos nos dias 6–14, mas em apenas 2,5% a partir do dia 15.

Para os desenvolvedores, esse é um diagnóstico útil. Um agente pode percorrer com segurança o início conhecido de um processo e se perder depois de tomar algumas decisões próprias. Por isso, uma única medida de acurácia média não basta: vale examinar separadamente as etapas da tarefa e os pontos em que os exemplos adequados se esgotam.

A rede neural precisava de decisões coerentes

O passo seguinte foi um transformer. O estado da fazenda foi representado por 197 tokens: células do tabuleiro, trabalhadores, mercadorias, mercado e outras entidades. O modelo recebia informações sobre as duas fazendas, enquanto a memória entre turnos ajudava a levar em conta observações e ações anteriores.

Durante o treinamento, surgiu um problema de rotulagem. É possível chegar a uma célula por vários caminhos igualmente curtos, mas a gravação contém apenas um. A equipe alterou a função de perda para que o modelo não fosse penalizado por dar outro passo equivalente em direção ao mesmo objetivo. A lição prática é simples: quando várias boas decisões são aceitáveis, o treinamento deve considerar isso.

Misturar gravações de jogadores fortes também não garantia uma melhora. Suas estratégias envolviam investimentos diferentes: uma ação razoável depois de comprar terra podia ser inadequada para uma fazenda que havia gastado o dinheiro em animais. Nos primeiros experimentos, o modelo fazia uma média dessas decisões e jogava pior.

O caso oferece uma sequência prática para experimentos com agentes: construir uma versão básica de referência, preparar cenários reproduzíveis, verificar a coerência das demonstrações e analisar os erros por etapa. Uma medalha de prata em uma simulação de jogo não demonstra que o método esteja pronto para tarefas empresariais. Mas as verificações descritas ajudam a entender por que mais um aumento na complexidade do modelo realmente funcionou, ou apenas pareceu convincente.