OPMD ensina LLMs estudantes não só as respostas, mas também os cálculos internos do professor

Uma equipe de pesquisadores propôs o OPMD (On-Policy Mechanism Distillation), um método de destilação de modelos de linguagem que transfere do professor para o estudante não apenas as previsões, mas também os cálculos intermediários. Segundo os autores, o OPMD alcançou a maior acurácia média entre os baselines de destilação avaliados nas três configurações "professor — estudante". O método também se aplica à destilação a partir de vários professores e ao supervised fine-tuning entre diferentes famílias de modelos. O trabalho foi publicado no Hugging Face Daily Papers. O resumo não informa valores absolutos das métricas, nomes de modelos nem benchmarks, portanto ainda não é possível avaliar o tamanho do ganho.

Onde a destilação on-policy esbarra

A on-policy distillation (OPD) funciona assim: o estudante gera os próprios prefixos, e o professor avalia o que diria em cada passo. Dessa forma, o estudante aprende com a própria distribuição de estados, e não com textos de referência de terceiros, o que reduz a divergência entre treinamento e inferência. A abordagem tem uma limitação: a supervisão permanece no espaço de saída. O estudante descobre quais tokens o professor prevê, mas não vê como o professor chegou até eles.

O passo mais óbvio seria fazer os estados ocultos do estudante se parecerem com os do professor. Os autores consideram isso insuficiente por dois motivos. Primeiro, as representações do professor e do estudante podem diferir geometricamente, e uma comparação direta significa pouco. Segundo, mesmo estados ocultos bem alinhados não precisam servir às camadas seguintes do estudante. Eles podem se parecer com os "corretos" e, ainda assim, ser inúteis para os cálculos do próprio estudante.

Como funciona o OPMD

O método tem dois passos. Primeiro, constrói-se um "professor compatível com o estudante" (student-compatible teacher). Ele converte as representações do professor real em estados intermediários que a parte posterior da rede do estudante consegue usar. Em seguida, esses estados são internalizados em trajetórias on-policy: o estudante gera as próprias continuações e aprende a reproduzir os estados internos desejados. Como o conversor foi implementado, o resumo não deixa claro; será preciso verificar no texto completo do artigo.

A ideia central é que a compatibilidade com quem recebe passa a fazer parte da formulação do problema. Os autores chamam o resultado de "mecanismo": o estudante ganha uma estrutura interna de computação que consegue aplicar, em vez de uma cópia da estrutura alheia.

O que foi declarado nos resultados

• Três configurações professor–estudante: o OPMD lidera em acurácia média entre os baselines de destilação avaliados em cada uma delas.
• Destilação com vários professores: a abordagem se generaliza para múltiplos professores.
• SFT entre famílias: o método funciona no treinamento entre diferentes famílias de modelos.
• Análise de raciocínio: a supervisão do mecanismo leva a um raciocínio mais eficiente.
• Mudanças internas: os cálculos intermediários do estudante e suas estratégias de resolução mudam, ou seja, é transmitida informação além da que está contida nas saídas.

O último ponto é importante do ponto de vista metodológico. O ganho de acurácia, sozinho, poderia ser explicado apenas por um sinal de treinamento adicional. Os autores afirmam ver mudanças estruturais nos cálculos internos, o que pesa mais do que uma linha em uma tabela.

Limitações e questões em aberto

Ainda não há dados sobre o custo do método. A etapa extra de construção do professor compatível e o treinamento sobre estados ocultos quase certamente elevam o custo computacional e a complexidade do pipeline. Outra questão é o acesso: para transferir cálculos intermediários, é preciso ter as representações internas do professor. Isso é possível com pesos abertos, mas modelos acessíveis apenas via API não se prestam a essa abordagem. Por fim, a liderança foi declarada entre os "baselines avaliados", e o conjunto desses baselines é definido pelos próprios autores.

O que verificar na prática

Equipes que comprimem modelos de raciocínio, partindo de professores abertos para estudantes compactos, devem incluir o OPMD na lista de candidatos assim que o código e as tabelas completas estiverem disponíveis. O primeiro passo é conferir em quais pares de modelos e tarefas o ganho foi obtido: matemática, código e benchmarks gerais se comportam de forma diferente. Depois, vale comparar o custo de treinamento com o do OPD convencional, com o mesmo orçamento de horas de GPU. O cenário entre famílias é o mais interessante. Se for confirmado por reproduções independentes, os desenvolvedores ganharão uma forma de transferir capacidades entre arquiteturas sem um histórico de treinamento em comum.