ProD ensina pequenos agentes de IA a não ficar em loop: teste com 8 modelos de 0,6B a 8B

Oito modelos de linguagem pequenos, com tamanhos de 0,6 a 8 bilhões de parâmetros, serviram de campo de teste para um novo método de destilação de agentes. Ele se chama Progress-Aware Distillation, ou ProD. Os autores do trabalho, publicado no Hugging Face Daily Papers, miram um problema específico: em tarefas longas, os agentes-alunos destilados ficam presos em loops e repetem estratégias que já não funcionaram.

Por que os agentes pequenos entram em loop

Sistemas agênticos baseados em grandes LLMs resolvem tarefas complexas, mas pagam por isso em tokens e latência. Cada passo de raciocínio, cada chamada de ferramenta e cada resposta do ambiente alongam o contexto e aumentam a conta. Para produção, isso é uma limitação séria, e por isso a indústria vem transferindo habilidades agênticas para modelos pequenos. O caminho padrão é a destilação via supervised fine-tuning: o professor resolve as tarefas, e o aluno treina com as trajetórias dele.

O problema é que, quanto mais longa a trajetória, pior o aluno mantém o rumo. As cadeias de «raciocínio — ação» se estendem, o volume de feedback do ambiente cresce e o modelo começa a andar em círculos. Os autores chamam isso de estagnação de progresso: o agente aplica repetidamente abordagens que não funcionam e não avança em direção ao objetivo. Segundo a análise sistemática deles, o efeito se reproduz em diferentes modelos pequenos e em diferentes tipos de tarefa. Ou seja, não se trata de uma arquitetura malsucedida isolada.

Como o ProD funciona

A ideia do método é tornar a estagnação mensurável e punível diretamente no treinamento. O ProD identifica explicitamente a estagnação nas trajetórias geradas pelo próprio aluno e a penaliza. A diferença entre aluno e professor nesse indicador é codificada em uma margin adaptativa. Quanto mais o aluno fica atrás do professor em progresso, mais rígida é a penalidade. Quando a diferença diminui, a pressão se afrouxa.

O procedimento é aplicado de forma iterativa, e o aluno se aproxima passo a passo do comportamento do professor. A descrição não traz detalhes de implementação, mas a estrutura com margin e trajetórias do próprio aluno lembra métodos de aprendizado por preferências. Essa é uma suposição minha a partir do resumo, não uma afirmação dos autores. O mais importante é outro ponto: o treinamento não usa apenas as demonstrações «ideais» do professor. O aluno também vê seus próprios caminhos fracassados, e o método explica a ele o que há de errado neles.

O que os experimentos mostraram

Segundo o resumo, os testes foram amplos:

• 8 modelos de linguagem pequenos;
• tamanhos de 0,6B a 8B de parâmetros;
• benchmarks dentro do domínio de treinamento (in-domain) e fora dele (out-of-domain);
• métricas: taxa de tarefas concluídas com sucesso e eficiência na execução.

Os autores afirmam que o ProD reduz de forma significativa a estagnação e, ao mesmo tempo, melhora tanto a success rate quanto a eficiência na execução das tarefas. O resumo não traz percentuais concretos, então ainda é cedo para avaliar o tamanho do ganho. É preciso consultar o texto completo: nomes dos benchmarks, métodos de base usados na comparação, variação dos resultados entre os modelos. Outra questão em aberto é quanto custa o ciclo iterativo, com geração de trajetórias pelo aluno e marcação da estagnação.

O que as equipes que constroem agentes devem fazer

Engenheiros que montam agentes baratos com modelos da classe de 1–8B devem verificar onde exatamente a qualidade cai. Se o sucesso diminui conforme o episódio se alonga e os logs mostram ações repetidas, é essa mesma estagnação. Um passo simples de diagnóstico é calcular a proporção de trajetórias com repetição da mesma ação ou sem avanço ao longo de N passos. Esse indicador é útil independentemente de o ProD servir ou não para o seu caso.

Quem destila agentes por conta própria pode considerar incluir no ciclo de treinamento as trajetórias do aluno, e não apenas as do professor. Para isso, será preciso pagar por execuções adicionais e pela marcação de progresso. Em troca, há a chance de reduzir o número de tokens por tarefa sem perder confiabilidade. Por enquanto, trata-se do resultado de um único artigo, sem verificação independente. Mas ele aponta um gargalo real: o agente barato não quebra no primeiro passo, e sim no vigésimo.