ProD evita que agentes de IA entrem em loop: testado em 8 modelos (0,6B–8B)

Agentes baseados em modelos de linguagem pequenos ficam presos em loops: repetem estratégias erradas e perdem o progresso em tarefas complexas com cadeias longas de raciocínio. Isso se torna crítico ao destilar as capacidades de modelos grandes em modelos pequenos por meio de fine-tuning supervisionado: o aluno aprende rápido, mas não consegue sair de mínimos locais e acaba entrando em loop. O problema afeta igualmente modelos de todos os tamanhos, de 0,6B a 8B de parâmetros.

Pesquisadores da Pennsylvania State University e da Microsoft CoreAI, em um artigo apresentado na NeurIPS 2026, propõem o Progress-Aware Distillation (ProD), método que penaliza explicitamente os loops na função de perda do aluno. A ideia se baseia em um princípio simples: a diferença de progresso entre o modelo pequeno e o modelo grande é um sinal de estagnação, e pode ser usada para aplicar uma penalidade adaptativa.

Como funciona o ProD

Em cada passo da interação do agente com o ambiente, o algoritmo compara o progresso do aluno com o do professor: • Se o aluno avança no mesmo ritmo do professor, a penalidade é mínima • Se o aluno fica atrás, mas ainda avança, a penalidade é média • Se o aluno fica completamente estagnado (não avança, enquanto o professor avançaria), a penalidade é máxima

Essa diferença é codificada em uma margem adaptativa que muda dinamicamente. Em seguida, vem a destilação iterativa: o aluno é treinado com a nova função de perda, melhora um pouco, e na próxima iteração a estagnação é recalculada considerando essas melhorias.

Experimentos: 8 modelos, dois tipos de benchmarks

Os testes abrangeram: • Por tamanho: 0,6B parâmetros, 1B–3B parâmetros, 3B–8B parâmetros • Por domínio: dentro do domínio (tarefas da distribuição de treinamento) e fora do domínio (domínios novos)

Os testes dentro do domínio mostram se o modelo aprendeu bem o método. Os testes fora do domínio verificam se ele vai funcionar em condições reais, com tarefas desconhecidas.

Resultados

O ProD estabilizou o comportamento dos agentes nos oito modelos:

1. Redução dos loops: caiu significativamente a porcentagem de trajetórias em que o agente repete erros 2. Maior taxa de sucesso: aumentou a proporção de tarefas resolvidas corretamente (task success rate) 3. Eficiência: os agentes precisam de menos passos para resolver as tarefas (menor consumo de tokens) 4. Generalização: o efeito se manteve nos benchmarks fora do domínio, algo atípico para modelos destilados

Esse último ponto é especialmente importante: normalmente, modelos destilados não generalizam bem para domínios novos. Aqui, a qualidade se manteve, o que sugere que o ProD ensina uma habilidade fundamental (não entrar em loop) em vez de simples memorização.

Disponibilidade e autores

O artigo foi publicado na íntegra. O código é aberto e está disponível no GitHub: https://github.com/CaoYuanpu/ProD

Autores: Yuanpu Cao, Saket Sathe, Hanyu Wang, Ziyi Yin, Fenglong Ma, Jinghui Chen (Pennsylvania State University e Microsoft CoreAI)

A equipe de autores está aberta a discussões e disposta a responder perguntas.