STI-OPD: o professor substitui ações do agente de forma probabilística e supera os baselines de OPD

A equipe por trás do preprint arXiv:2610.10878 propôs o STI-OPD, uma variante de distilação on-policy para agentes que operam em vários turnos. A ideia é que o professor, com certa probabilidade, substitua a ação do aluno pela sua própria, e essa probabilidade é calculada a partir da divergência entre as políticas. Segundo os autores, o método supera o baseline de OPD anterior mais forte em cada benchmark avaliado e para cada tamanho de aluno. O resumo não traz ganhos percentuais específicos; é preciso procurá-los no texto completo do trabalho.

Onde a on-policy distillation falha

A OPD é simples. O aluno gera as próprias trajetórias, e o professor fornece, a cada token, um sinal denso: o quanto a distribuição dele difere da do aluno. Essa abordagem já se mostrou eficaz em tarefas difíceis, como raciocínio matemático, em que toda a geração cabe em uma única resposta longa.

Em cenários agênticos, o quadro é pior. O aluno escolhe uma ação, o ambiente responde com uma observação, e essa observação define o passo seguinte. Um erro inicial puxa outros atrás de si. Após alguns turnos, a trajetória chega a uma região em que o próprio professor nunca estaria. A anotação dele no nível de token nesses estados fica menos confiável e, em alguns pontos, prejudicial: o aluno é ensinado a corrigir uma situação que simplesmente não existe numa execução normal da tarefa.

Como funciona o STI-OPD

Durante a interação em vários passos, o método mede a divergência entre as políticas do professor e do aluno por meio da KL divergence e a converte em probabilidade de intervenção. Em seguida, a cada passo, sorteia-se se a ação do aluno será mantida ou substituída por uma gerada pelo professor. Quanto mais a trajetória se afasta do professor, maior a chance de ele assumir o controle e levá-la de volta à zona em que o sinal é confiável.

Os autores contrapõem isso a esquemas anteriores, que usam um limiar rígido de divergência ou um cronograma fixo de intervenções. A variante probabilística, segundo eles, equilibra melhor o controle do professor e a exploração por parte do aluno: o aluno não perde os passos autônomos, mas também não se afasta demais.

As trajetórias mistas têm um custo técnico. Parte dos tokens foi escrita pelo professor e não corresponde à distribuição do aluno, de modo que o objetivo usual da OPD fica enviesado. Para corrigir isso, entra o Importance-Weighted Reverse KL, que leva em conta a diferença entre a amostragem de tokens pelo professor e a política do aluno e preserva o objetivo original da OPD.

Principais elementos do método:

• a intervenção é guiada pela divergência KL entre as políticas do professor e do aluno;
• a divergência é mapeada em uma probabilidade, e a decisão é tomada por amostragem;
• a substituição da ação ocorre no nível do passo, dentro da interação em múltiplos turnos;
• o treinamento nas trajetórias mistas usa Importance-Weighted Reverse KL;
• a avaliação cobre tool-integrated reasoning e interações longas (long-horizon).

O que os experimentos mostraram

De acordo com o resumo, o STI-OPD supera o baseline de OPD anterior mais forte em cada benchmark e em cada tamanho de modelo aluno. As ablações mostram, separadamente, que os dois componentes contribuem: a intervenção guiada pela divergência e o importance weighting. Sem qualquer um deles, o ganho diminui.

As limitações também aparecem. O método exige um professor disponível durante o treinamento e capaz de gerar ações sob demanda, o que significa o custo de inferência de um modelo forte a cada passo. Os resultados, por ora, estão descritos apenas no preprint, não há reproduções independentes e a tabela completa de métricas não consta no anúncio.

A quem isso serve

Equipes que destilam modelos grandes em agentes compactos para trabalhar com ferramentas, código ou diálogos longos ganham uma receita concreta contra o desvio de trajetórias. Dá para testá-la no seu próprio pipeline: basta registrar a KL entre as políticas a cada passo e comparar a intervenção por limiar com a probabilística. Se o seu professor é caro em inferência, vale estimar de antemão qual fração dos passos acaba sendo preenchida por ações dele. O peso de importância corretivo deve ser adicionado desde o início; caso contrário, é fácil perder a correspondência com o objetivo original da OPD ao substituir tokens.