MultiAgent-OPD entrena un equipo de agentes de principio a fin y logra un 38,68% en siete benchmarks de QA

Investigadores de TaoLive AIGC (el primer autor es Yuhan Sun) han publicado MultiAgent-OPD, un método de entrenamiento de extremo a extremo para sistemas multiagente jerárquicos. Combina destilación on-policy con aprendizaje por refuerzo. El equipo formado por Leader, Searcher y Answerer funciona sobre un único modelo de lenguaje compartido. En siete conjuntos de datos de QA alcanza un 38,68% de macro avg@4. Es 4,06 p. p. más que Prompted Critic, un método con un LLM como juez, y 2,61 p. p. más que el sistema en cascada entrenado C-MAS + RL.

Por qué la respuesta final enseña poco a los buscadores

En un sistema jerárquico, el Leader divide la tarea en subtareas y los subagentes las ejecutan. El Searcher busca información en varias oleadas y condensa lo encontrado en informes breves; el Answerer construye la respuesta a partir de ellos. Entrenar todo esto a la vez es difícil por el problema de la asignación de crédito: la respuesta final es correcta o incorrecta, pero esa señal no revela qué consulta del Searcher ayudó y cuál desvió la búsqueda.

La solución habitual es un LLM como juez que evalúe el trabajo de los subagentes. Sin embargo, sus valoraciones dependen de la idea que tenga el propio juez sobre la calidad de una respuesta. Si el juez se equivoca o tiene sesgos, el sistema optimiza ese error con obediencia. Este es el enfoque que representa Prompted Critic, un método MAS-RL de tipo M-GRPO.

Un profesor que no cambia

Los autores plantean el entrenamiento en dos fases. Primero entrenan un Teacher en un proceso en cascada Searcher–Answerer, donde la señal es la corrección de la respuesta. Después congelan al profesor y lo incorporan al entrenamiento conjunto del equipo.

Durante el entrenamiento del equipo, el estudiante genera por sí mismo las consultas de búsqueda y los resúmenes sobre trayectorias de subtareas en evolución. El profesor congelado evalúa esos tokens; es decir, aplica una destilación a nivel de token sobre las propias acciones del estudiante (on-policy). El Searcher recibe así una señal de proceso local y densa: cómo buscar y cómo informar de lo encontrado. Además, el profesor no depende de la opinión subjetiva de un juez externo, porque él mismo se ha entrenado con la corrección de las respuestas.

Las señales de los demás roles son distintas:

• Leader aprende del éxito del equipo en conjunto (outcome-based RL);
• Answerer aprende de la corrección de las respuestas candidatas;
• Searcher recibe una evaluación a nivel de token del profesor congelado.

Los tres roles optimizan un mismo modelo compartido, que aprende a coordinar la descomposición de la tarea, la búsqueda en varias oleadas y la generación de la respuesta. En inferencia no hace falta el profesor: basta con el estudiante entrenado.

Las cifras y la comparación

• MultiAgent-OPD: 38,68% de macro avg@4 en siete conjuntos de datos;
• Prompted Critic (LLM como juez, MAS-RL al estilo de M-GRPO): 4,06 p. p. menos, cerca del 34,6%;
• C-MAS + RL (sistema multiagente en cascada entrenado): 2,61 p. p. menos, cerca del 36,1%;
• la comparación se hizo sobre los checkpoints evaluados;
• el equipo resuelve más preguntas en un máximo de cuatro intentos.

Una mejora de 2–4 p. p. en la media de siete benchmarks se nota, pero no es espectacular. Lo más revelador es que la ventaja sobre el sistema en cascada se logra sin complicar la inferencia: los roles comparten los mismos pesos y el coste adicional recae en el entrenamiento.

A quién le sirve la receta

Para los equipos que construyen agentes de búsqueda e investigación, la conclusión principal es práctica. Si tienes un Leader que reparte tareas y ejecutores cuyo trabajo solo se ve a través del resultado final, puedes entrenar primero un profesor con un esquema en cascada sencillo y una respuesta verificable. Después, sus evaluaciones congeladas pueden servir como señal densa para los ejecutores, en lugar de un LLM como juez, caro y ruidoso.

Esto reduce la dependencia de un evaluador externo y simplifica el despliegue: en producción vive un solo modelo, no un conjunto de varios. Las limitaciones también están claras. El método se ha probado en tareas de QA con búsqueda, y para otros tipos de subagentes, por ejemplo de código o de herramientas, el esquema requerirá una verificación aparte. Los autores tienen disponible una página del proyecto, y el trabajo está publicado en arXiv con el número 2610.23234.