STI-OPD: uma intervenção probabilística do professor para tarefas de agentes em múltiplas etapas

Os autores Junnan Liu, Linhao Luo, Zhijun Chen, Qianren Mao, Thuy-Trang Vu e Gholamreza Haffari apresentaram o STI-OPD, um framework de intervenção estocástica do professor para aprendizado de agentes em múltiplas etapas baseado em destilação. O trabalho está registrado no arXiv sob o número 2610.10878, na categoria Computation and Language.

O problema da destilação on-policy em sistemas de agentes

A destilação on-policy transfere com eficácia as capacidades de um professor forte para um aluno mais fraco por meio de uma supervisão densa no nível de token. A abordagem tem mostrado resultados promissores em tarefas complexas, incluindo raciocínio matemático. No entanto, em sistemas de agentes de múltiplas etapas, as decisões do aluno alteram as observações subsequentes. Um erro cometido nas primeiras etapas se acumula ao longo de toda a trajetória de interação. Como resultado, as trajetórias do aluno se afastam cada vez mais da distribuição do professor — sua supervisão se torna pouco confiável ou até prejudicial ao aprendizado, reduzindo a eficácia de todo o método.

A arquitetura do STI-OPD

A intervenção do professor é guiada pela divergência entre as políticas do aluno e do professor. Durante a interação de múltiplas etapas, o sistema às vezes substitui a ação do aluno pela ação do professor — isso maximiza o acúmulo de supervisão confiável para o treinamento.

A inovação central é a estratégia de intervenção estocástica. Em vez de condições de limiar rígidas ou um cronograma fixo de intervenções, o sistema: estima a divergência entre políticas por meio da divergência KL entre as distribuições de ações do professor e do aluno; converte essa divergência em uma probabilidade de intervenção; e amostra probabilisticamente a decisão de intervir a cada momento. Isso permite equilibrar de forma adaptativa o controle do professor com a exploração independente do aluno, de acordo com o estado atual da divergência.

Treinamento com trajetórias mistas

As trajetórias resultantes contêm uma mistura de ações tanto do professor quanto do aluno. Para aprender corretamente a partir desses dados mistos, os autores introduzem um objetivo de KL reversa ponderada por importância. Esse componente corrige o descompasso na amostragem de tokens entre as respostas geradas pelo professor e a distribuição da política do aluno. Isso preserva o objetivo original da destilação on-policy e evita distorções no processo de treinamento.

Resultados e aplicabilidade

Os experimentos abrangeram duas categorias de tarefas: tool-integrated reasoning (tarefas que usam ferramentas externas) e long-horizon interaction (interação de múltiplos turnos com o ambiente). Em todos os benchmarks avaliados e em todos os tamanhos de modelos de aluno, o STI-OPD supera o baseline de destilação on-policy anterior mais forte. Estudos de ablação confirmam que ambos os componentes-chave — a intervenção guiada pela divergência de políticas e a correção ponderada por importância — contribuem para o ganho final de qualidade. O artigo está marcado como trabalho em andamento e está disponível nos formatos PDF, HTML e TeX Source no arXiv.