Pesquisadores testam 16 tipos de dicas para OPSD e encontram uma métrica de seleção

A on-policy self-distillation (OPSD) permite que um modelo de linguagem aprenda com informação privilegiada sem precisar de um modelo professor separado. Um novo trabalho, que apareceu no Hugging Face Daily Papers, mostra que a própria dica (PI) define o resultado tanto quanto o algoritmo. Os autores executaram 16 configurações de PI em três benchmarks agênticos multi-turno e três modelos estudantes, de escalas e modos de raciocínio diferentes. A principal conclusão prática: é possível avaliar a qualidade da dica antes do treinamento por meio de métricas de KL, e esse método é mais confiável do que verificar diretamente a utilidade dela.

Por que a PI se mostrou o ponto fraco da OPSD

O esquema é conhecido: o modelo vê a tarefa junto com informação adicional que o «estudante» não tem na inferência, e a distribuição de tokens resultante serve como sinal de treinamento. O estudante, por sua vez, treina com amostras próprias, daí o termo on-policy. Não é necessário um professor adicional.

Até agora, a maioria dos trabalhos tratava a PI como uma decisão fixa de design. Pouco se estudou o que colocar nela e como construí-la. Em tarefas agênticas multi-turno, a questão é mais aguda: a trajetória é composta de ações, observações e raciocínios, e há uma dezena de maneiras de transformá-la em dica. É possível manter só o resultado final, incluir os passos ou destacar os que deram errado.

O que mostraram as 16 configurações

A eficácia da PI depende de três fatores ao mesmo tempo: o conteúdo, a fonte de geração e o próprio modelo estudante. As regularidades gerais são estas:

• trajetórias com alta densidade de informação, usadas como PI, em média trazem ganhos maiores;
• a PI criada por um gerador mais forte costuma ser mais útil;
• os modelos thinking se beneficiam da PI de forma menos estável do que os modelos sem modo explícito de raciocínio;
• não existe receita universal de dica: a melhor configuração muda de tarefa para tarefa e de estudante para estudante.

No resumo, os autores não apresentam ganhos numéricos; por isso, a magnitude do efeito só pode ser conferida no texto completo do artigo.

Como avaliar uma dica antes do treinamento

Executar um treinamento completo para testar cada PI sai caro. Por isso, os autores compararam a avaliação direta da utilidade da PI com duas métricas baseadas em divergência KL:

• sampled-token reverse KL (D): KL reversa sobre os tokens amostrados;
• error-step KL contrast (Δd⁻_err): contraste de KL associado aos passos em que o agente erra.

As duas métricas se alinham com a qualidade final após o treinamento de forma mais estável do que a avaliação direta da utilidade. Esta última tem um ponto fraco: é distorcida pelo vazamento de informação. Se a dica contém, na prática, a resposta, o modelo com ela parece forte, mas isso não ajuda o estudante em nada.

Os autores também testaram um cenário prático. Escolher a PI de cada tarefa por Δd⁻_err melhora o resultado após o treinamento em comparação com a escolha aleatória. O ganho é maior quando os candidatos diferem bastante entre si. Se todas as variantes de dica são mais ou menos equivalentes, a métrica quase não acrescenta nada.

OPSD mais GRPO

Uma verificação separada tratou da compatibilidade com RL. A PI eficaz continua útil quando a OPSD é combinada com GRPO, e o objetivo combinado supera um baseline forte de GRPO. Ou seja, a self-distillation não compete com o aprendizado por reforço, e sim o complementa.

O que levar para a prática

Uma equipe que treina agentes por self-distillation deveria parar de tratar o formato da PI como constante. Uma ordem razoável de ações:

• montar várias variantes de PI a partir das mesmas trajetórias, das mais comprimidas às mais densas;
• sempre que possível, gerar as dicas com um modelo mais forte;
• ranquear os candidatos pelas métricas de KL, e não pelo quanto o modelo resolve a tarefa com a dica no contexto, porque o vazamento induz ao erro;
• para modelos thinking, não esperar o mesmo ganho dos modelos comuns e testar separadamente;
• se já existe um pipeline com GRPO, adicionar a OPSD com a PI selecionada como segundo termo do objetivo.

A limitação também é clara. O trabalho é empírico, e as conclusões vêm de três benchmarks e três estudantes, então a transferência para outros domínios precisa ser verificada. Ainda assim, como guia de engenharia de dicas para self-distillation, o resultado é útil: ele troca a intuição por uma métrica barata, que pode ser calculada antes de iniciar um treinamento caro.