Ajuste fino com SFT reduz a diversidade de comportamento da IA, mostra estudo do arXiv sobre colapso de diversidade

Pesquisadores publicaram no arXiv, em julho de 2026, o trabalho «When Reasoning Narrows the Move: Diversity Collapse in LLM Game Play». O estudo mostrou que o ajuste fino padrão (SFT) aumenta a precisão dos modelos de linguagem em jogos, mas ao mesmo tempo reduz drasticamente a diversidade de suas jogadas, mais do que o equilíbrio entre precisão e diversidade exigiria.

O que o estudo mostrou

O trabalho do arXiv (categoria cs.CL, identificador 2607.19523) investigou como o supervised fine-tuning afeta a diversidade comportamental dos modelos na tomada de decisões sequenciais. Os autores montaram um conjunto controlado de jogos de tabuleiro determinísticos, baseados em variantes do jogo da velha. Nesses jogos, as jogadas ótimas podem ser calculadas com exatidão, o que permite medir a diversidade de comportamento diretamente, sem avaliações subjetivas. A análise foi feita em três níveis: estados individuais do jogo, partidas reais em modo de «arena» e trajetórias do próprio treinamento. Isso permitiu ver como a diversidade se degrada durante o ajuste fino, e não apenas no modelo final.

• Plataforma: arXiv, categoria cs.CL, identificador 2607.19523, tipo de publicação «new»
• Ambiente de teste: jogos de tabuleiro determinísticos baseados no jogo da velha
• As jogadas ótimas são calculáveis com exatidão, por isso a diversidade é medida diretamente
• A avaliação ocorreu em três níveis: estados individuais, partidas em «arena» e trajetórias de treinamento
• Método de mitigação: action augmentation, treinamento em todas as jogadas ótimas de um estado

Por que o SFT estreita as escolhas do modelo?

O SFT padrão provoca um colapso prematuro de diversidade: a política do modelo se reduz a um conjunto estreito de jogadas mais rápido do que o compromisso entre precisão e diversidade justificaria. Segundo o estudo, o modo de raciocínio passo a passo (reasoning-mode) muitas vezes suprime ainda mais a diversidade de jogadas, sem melhorar a precisão de maneira uniforme. Um detalhe importante: o modo de raciocínio, que costuma ser visto como uma forma de melhorar as decisões, atuou aqui contra a diversidade, pois estreitou o conjunto de jogadas sem um ganho consistente de precisão.

A causa, na avaliação dos autores, é a «imitação de suporte estreito» (narrow-support imitation): o modelo aprende com uma única jogada ótima mostrada para cada estado e ignora as demais alternativas equivalentes. Como resultado, perde não só as alternativas, mas também a tendência de explorar o espaço de soluções.

Como mitigar o problema

A técnica de action augmentation resolve o problema em parte: o modelo é treinado em todas as ações ótimas de cada estado, e não em uma única jogada demonstrada. De acordo com o resumo do trabalho, essa abordagem preserva o «suporte de ações» (action support) e mantém o comportamento exploratório do modelo, sem prejudicar a precisão. Ainda assim, o método não elimina o problema por completo. Os autores afirmam explicitamente que a mitigação é parcial, mas mostram que o simples fato de treinar com um suporte de ações mais amplo já muda o comportamento do modelo para melhor.

«Preservar o suporte de ações durante o SFT é importante para manter o

comportamento exploratório», diz o resumo do estudo no arXiv.

O que isso significa

O trabalho aponta um custo oculto de um método de ajuste fino muito popular: ao otimizar o modelo para precisão, os desenvolvedores podem tirar dele, sem perceber, a flexibilidade e a tendência de explorar. Para tarefas em que a diversidade de soluções importa, como agentes de jogos, planejamento e ações em várias etapas, os autores recomendam preservar o action support já na etapa de SFT.

Perguntas frequentes

O que é colapso de diversidade em modelos de linguagem?

Colapso de diversidade é a situação em que, após o ajuste fino, o modelo passa a escolher sempre o mesmo conjunto estreito de respostas ou jogadas e perde alternativas equivalentes. No estudo, ele surgiu com o SFT padrão antes do que o equilíbrio entre precisão e diversidade exigiria.

Como o action augmentation ajuda a preservar a diversidade?

O action augmentation treina o modelo em todas as jogadas ótimas de cada estado, e não em uma única jogada mostrada. Segundo o trabalho, isso atenua em parte o colapso de diversidade e preserva o comportamento exploratório do modelo.