Pesquisadores rodaram 120 configurações de CPT para agentes de jogos: de 0,8B a 27B

A equipe de pesquisadores fez uma pergunta direta: se aumentarmos os dados, a diversidade e o tamanho do modelo, os agentes ficam melhores em mundos virtuais que quase não têm relação entre si? No mundo físico, todos os experimentos obedecem às mesmas leis, e a generalização ocorre de forma natural. Nos jogos, cada mundo tem seu próprio estilo visual, sua dinâmica, seus controles e seus objetivos. Os autores buscaram a resposta em 120 configurações de continued pre-training (CPT): quatro tamanhos de modelo, de 0,8B a 27B, seis orçamentos de dados, de 50 a 1 600 horas, e cinco composições de corpus, de apenas Minecraft a um conjunto de mundos variados.

Três eixos e três níveis de avaliação

O desenho do experimento pesa mais do que qualquer número isolado. Os autores variaram três fatores de forma independente: volume de dados, diversidade e tamanho do modelo. A qualidade foi medida em três níveis de loss de validação e em benchmarks de jogos. Primeiro, os mundos do próprio corpus de treinamento; depois, os mundos aparentados; por fim, os que o modelo nunca viu. Assim, fica claro onde exatamente termina a transferência de habilidades.

Principais métricas e parâmetros do estudo:

• 120 configurações de treinamento;
• tamanhos de modelo: de 0,8B a 27B parâmetros;
• orçamentos de dados: de 50 a 1 600 horas;
• cinco misturas: de apenas Minecraft a corpora multimundo heterogêneos;
• avaliação por loss e por benchmarks de gameplay em três zonas: mundos conhecidos, aparentados e desconhecidos.

O que cada eixo entrega

O quadro ficou irregular. Mais dados melhoram o resultado dentro do corpus, o que era esperado. A diversidade ajuda na transferência para mundos aparentados, mas, em jogos distantes, o ganho continua pequeno. O tamanho do modelo aumenta a eficiência no uso dos dados: o modelo maior extrai mais rápido valor das mesmas horas de gameplay. Porém, se ele for treinado em um único mundo, generaliza pior em mundos distantes. Um modelo grande treinado de forma estreita se ajusta mais a fundo ao seu próprio mundo.

É uma observação prática. Escala sem diversidade pode reforçar a especialização, e não a universalidade. Para as equipes que montam datasets para agentes, é um argumento para contar o orçamento não só em horas, mas também em número de mundos distintos.

Duas fases de treinamento

O ponto mais interessante do artigo é a dinâmica do treinamento. Os autores identificam uma fase inicial, de "interface", em que o benefício se espalha amplamente por diferentes mundos. O modelo aprende o básico: como ler a tela, como observações e ações se relacionam, como funcionam os controles. Em seguida vem a fase "de mundo", em que os ganhos se restringem aos mundos do corpus e aos aparentados. O modelo passa a memorizar a estrutura de mundos específicos, e isso quase não se transfere para os distantes.

Com base nisso, os autores ajustaram uma lei de escalonamento empírica. Ela relaciona o loss de validação ao volume de dados, à diversidade e ao tamanho do modelo. Isso permite estimar o efeito antes de iniciar um treinamento caro. A ressalva é que a lei descreve o loss, e não o sucesso no jogo, e a distância entre os dois continua sendo um problema à parte.

Comparação com especialistas e os limites da imitação

Nos benchmarks finais, os modelos são competitivos com especialistas em Minecraft e com modelos frontier em mundos 3D. Eles se saem melhor em tempo real. Nesse cenário, a velocidade de reação é decisiva, e um modelo compacto treinado em demonstrações de jogo não gasta tempo com raciocínios longos.

Os próprios autores apontam as limitações. O treinamento com demonstrações esbarra no teto da imitação: o modelo repete o que viu, mas não descobre novas estratégias. Em mundos distantes, a diferença persiste em todas as escalas estudadas. A conclusão do artigo é direta: agentes incorporados de uso geral precisam de etapas de treinamento mais ricas depois do CPT.

O que levar para a prática

Para quem desenvolve agentes, as conclusões são estas. Se o objetivo é um jogador forte em um jogo específico ou em uma família de jogos parecidos, basta aumentar os dados e o modelo dentro dessa família. Se é preciso transferir para mundos novos, é necessário incluir jogos heterogêneos no corpus e não esperar que o tamanho do modelo resolva o problema sozinho. A fase inicial de interface pode servir como um começo barato, mas, depois dela, o ganho precisa ser verificado em mundos desconhecidos, e não apenas pelo loss. Para uma generalização de verdade, o próximo passo parece ser aprendizado por reforço ou outras etapas de pós-treinamento que vão além da imitação.