Apple esclarece quando a on-policy distillation realmente ajuda no treinamento de modelos

Pesquisadores da Apple ML Research publicaram uma análise dos limites da on-policy distillation, técnica de treinamento em que um modelo professor dá orientação token a token a modelos de raciocínio. A conclusão: o método pode ser uma ferramenta poderosa, mas só se for aplicado corretamente.

O que é on-policy distillation e para que serve

A on-policy distillation é uma forma de treinar um modelo novo dando a ele instruções muito detalhadas a cada passo. Imagine um professor inteligente resolvendo um problema em voz alta e explicando cada etapa, enquanto o aluno aprende não só com a resposta final, mas também com o raciocínio do professor ao longo do caminho.

Isso é especialmente importante para modelos de raciocínio, que resolvem problemas complexos passo a passo, desdobrando a lógica. A OpenAI e outros laboratórios usam abordagens semelhantes para treinar modelos como o1 e Claude 3.5 Sonnet. À primeira vista, quanto mais detalhada a orientação, melhor o aluno deveria aprender.

Quando realmente ajuda e quando pode prejudicar

A Apple concluiu que a situação é mais complexa. As perguntas-chave continuam em aberto:

• Qual modelo escolher como professor (o mais forte nem sempre é o melhor)
• Qual contexto usar na autodestilação, quando o modelo aprende consigo mesmo
• A escolha ideal pode variar de token para token

A abordagem atual costuma ser esta: iniciar um treinamento caro, passar várias horas (ou dias) calculando em GPUs e olhar as métricas finais. O problema é que esses números agregados escondem a verdade: no nível de tokens individuais, os métodos muitas vezes se comportam de maneira bem diferente.

Como a Apple propõe resolver isso

A equipe apresentou uma abordagem training-free: uma forma de avaliar a eficácia da on-policy distillation SEM experimentos caros. Assim, engenheiros de ML podem verificar se o método funciona no cenário específico deles antes de iniciar um treinamento completo.

Essas ferramentas são críticas para grandes laboratórios: cada hora de GPU custa dinheiro, e prever o resultado do treinamento com antecedência economiza recursos e prazos de desenvolvimento.

O que isso significa para a comunidade de ML

A on-policy distillation continua sendo uma técnica poderosa, mas o estudo mostra que ela não pode ser aplicada mecanicamente. Tarefas, modelos e dados diferentes exigem decisões diferentes, e a Apple oferece uma ferramenta para tomá-las com embasamento, sem caras tentativas e erros.