Apple identificou quando a on-policy distillation ajuda no treinamento de modelos

Pesquisadores do Apple ML Research publicaram uma análise dos limites da on-policy distillation — uma técnica de treinamento em que um modelo professor fornece orientação por token (per-token) para modelos de reasoning. A conclusão: o método pode ser uma ferramenta poderosa, mas apenas quando aplicado corretamente.

O que é on-policy distillation e por que é necessário

On-policy distillation é uma forma de treinar um novo modelo fornecendo orientação muito detalhada em cada etapa. Imagine: um professor inteligente resolve um problema em voz alta, explicando cada passo, e um aluno aprende não apenas com a resposta final, mas também com como o professor raciocinou ao longo do caminho.

Isto é especialmente importante para modelos de reasoning — modelos que resolvem problemas complexos passo a passo, desdobrando a lógica. OpenAI e outros laboratórios usam abordagens semelhantes ao treinar modelos como o1 e Claude 3.5 Sonnet. À primeira vista, quanto mais detalhada a orientação, melhor o aluno deveria aprender.

Quando realmente ajuda e quando pode prejudicar

Apple descobriu que é mais complexo do que isso. Questões-chave permanecem em aberto:

• Qual modelo escolher como professor (mais forte nem sempre é melhor)
• Que contexto usar durante self-distillation, quando um modelo aprende consigo mesmo
• A escolha ótima pode diferir de token para token

A abordagem atual para essas questões costuma ser assim: executar treinamento custoso, calcular por várias horas (ou dias) em GPU e olhar as métricas finais. Mas o problema é que esses indicadores agregados ocultam a verdade: no nível de tokens individuais, os métodos frequentemente funcionam de forma completamente diferente.

Como Apple propõe resolver isso

O grupo de pesquisa apresentou uma abordagem training-free — uma forma de entender a eficácia da on-policy distillation SEM experimentos caros. Isso permite que engenheiros de ML entendam se o método funciona em seu cenário específico antes de executar o treinamento completo do modelo.

Essas ferramentas são críticas para laboratórios grandes: cada hora de tempo de GPU custa dinheiro, e a capacidade de prever os resultados do treinamento com antecedência economiza recursos e tempo de desenvolvimento.

O que isso significa para a comunidade de ML

On-policy distillation continua sendo uma técnica poderosa, mas esta pesquisa mostra que ela não pode ser aplicada mecanicamente. Tarefas diferentes, modelos diferentes, dados diferentes requerem soluções diferentes — e Apple forneceu uma ferramenta para tomar essas decisões baseadas em evidências, sem trial-and-error custoso.