MultiAgent-OPD treina a equipe de agentes de ponta a ponta e alcança 38,68% em sete benchmarks de QA

Pesquisadores da TaoLive AIGC (o primeiro autor é Yuhan Sun) publicaram o MultiAgent-OPD, um método de treinamento de ponta a ponta para sistemas multiagente hierárquicos. Ele combina destilação on-policy com aprendizado por reforço. A equipe formada por Leader, Searcher e Answerer roda sobre um único modelo de linguagem compartilhado. Em sete datasets de QA, ela alcança 38,68% de macro avg@4. Isso é 4,06 p.p. acima do Prompted Critic, método que usa um LLM como juiz, e 2,61 p.p. acima do sistema em cascata treinado C-MAS + RL.

Por que a resposta final ensina pouco aos agentes de busca

Em um sistema hierárquico, o Leader divide a tarefa em subtarefas, e os subagentes as executam. O Searcher busca informações em várias rodadas e condensa o que encontrou em relatórios curtos, e o Answerer monta a resposta a partir deles. Treinar tudo isso em conjunto é difícil por causa do problema de atribuição de crédito: a resposta final está certa ou errada, mas esse sinal não mostra qual consulta do Searcher ajudou e qual desviou o rumo.

O atalho mais comum é usar um LLM como juiz para avaliar o trabalho dos subagentes. Mas as notas dele dependem das próprias ideias do juiz sobre o que é uma boa resposta. Se o juiz erra ou tem viés, o sistema otimiza esse erro à risca. É essa a abordagem do Prompted Critic, um método MAS-RL no estilo M-GRPO.

Um professor que não muda

Os autores dividem o treinamento em duas etapas. Primeiro, treinam o Teacher em um processo em cascata Searcher–Answerer, em que o sinal é a correção da resposta. Depois, o professor é congelado e entra no treinamento conjunto da equipe.

Durante o treinamento em equipe, o aluno gera por conta própria as consultas de busca e os resumos, ao longo de trajetórias de subtarefas em evolução. O professor congelado avalia esses tokens, ou seja, aplica destilação em nível de token sobre as próprias ações do aluno (on-policy). O Searcher recebe, assim, um sinal de processo local e denso: como buscar e como relatar o que foi encontrado. Além disso, o professor não depende da opinião subjetiva de um juiz externo, porque ele mesmo foi treinado na correção das respostas.

Os outros papéis recebem sinais diferentes:

• Leader aprende com o sucesso da equipe como um todo (outcome-based RL);
• Answerer aprende com a correção das respostas candidatas;
• Searcher recebe a avaliação em nível de token do professor congelado.

Os três papéis otimizam um único modelo compartilhado, que aprende a coordenar a decomposição da tarefa, a busca em várias rodadas e a geração da resposta. Na inferência, o professor não é necessário: basta o aluno treinado.

Números e comparação

• MultiAgent-OPD: 38,68% de macro avg@4 em sete datasets;
• Prompted Critic (LLM como juiz, MAS-RL no espírito do M-GRPO): 4,06 p.p. abaixo, cerca de 34,6%;
• C-MAS + RL (sistema multiagente em cascata treinado): 2,61 p.p. abaixo, cerca de 36,1%;
• a comparação foi feita com checkpoints avaliados;
• a equipe resolve mais perguntas dentro de quatro tentativas.

O ganho de 2 a 4 p.p. na média de sete benchmarks é perceptível, mas não dramático. Mais revelador é que a vantagem sobre o sistema em cascata veio sem complicar a inferência: os papéis compartilham os mesmos pesos, e o custo adicional fica no treinamento.

Para quem serve a receita

Para equipes que constroem agentes de busca e de pesquisa, a conclusão principal é prática. Se você tem um Leader que distribui tarefas e executores cujo trabalho só aparece no resultado final, dá para treinar primeiro um professor em um esquema em cascata simples, com resposta verificável. Depois, as avaliações congeladas dele podem servir como sinal denso para os executores, no lugar de um LLM como juiz, caro e ruidoso.

Isso reduz a dependência de um avaliador externo e simplifica o deploy: em produção, roda um único modelo, e não um ensemble de vários. As limitações também são claras. O método foi testado em tarefas de QA com busca, e outros tipos de subagente, como os de código ou de ferramentas, exigirão uma validação à parte do esquema. A página do projeto está disponível com os autores, e o trabalho foi publicado no arXiv com o número 2610.23234.