Mezcla de Agentes

Mezcla de Agentes es una arquitectura de colaboración multi-modelo propuesta por Wang et al. en Together AI en 2024. Se diferencia de Mezcla de Expertos (MoE), que enruta tokens a través de sub-redes especializadas dentro de un único modelo a nivel de pesos. En MoA, múltiples instancias de LLM completas e independientes—llamadas proponentes—responden cada una a la consulta de entrada en paralelo, y sus resultados se pasan a un modelo agregador que sintetiza una respuesta final. La observación empírica central que motiva el diseño es que los modelos de lenguaje mejoran de manera confiable la calidad de su resultado cuando se les muestran respuestas de referencia diversas, incluso cuando esas referencias provienen de modelos más débiles o de nivel similar.

En un pipeline MoA estándar, los modelos proponentes reciben solo la consulta original y responden de forma independiente. El agregador recibe la consulta original más todos los resultados de los proponentes y se le solicita sintetizar, corregir y ampliar la información en una única respuesta coherente. Se pueden aplicar múltiples rondas de agregación de manera secuencial, destilando progresivamente la calidad. Los proponentes y el agregador se pueden extraer de diferentes proveedores o familias de modelos, permitiendo fortalezas complementarias—como emparejar un modelo con fuerte recuperación de hechos contra uno con razonamiento estructurado más fuerte.

MoA permite a los profesionales mejorar la calidad de las respuestas sin acceso a los pesos del modelo o la capacidad de ejecutar ajuste fino, combinando APIs disponibles públicamente. En los puntos de referencia publicados con el artículo de 2024, una configuración MoA utilizando modelos de pesos abiertos superó a GPT-4o en AlpacaEval 2.0 en el momento del lanzamiento. También ofrece un camino natural para combinar modelos especializados para tareas específicas de dominio.

A partir de 2026, MoA ha influido en patrones de conjunto en sistemas de agentes de producción y ha contribuido a la investigación sobre inferencia colaborativa y debate entre LLM. La restricción práctica principal es el costo y la latencia: ejecutar múltiples modelos completos por consulta multiplica los gastos de inferencia y el tiempo de respuesta. Se han explorado optimizaciones que incluyen agregación especulativa, almacenamiento en caché de modelos y enrutamiento de consultas a proponentes más pequeños para tareas de baja complejidad para reducir la sobrecarga en implementaciones comerciales.

Ejemplo

“Una plataforma de servicio al cliente consulta tres LLM diferentes con una pregunta compleja sobre política de reembolso, luego pasa las tres respuestas a un cuarto modelo agregador que sintetiza una única respuesta internamente consistente con mayor precisión factual que la que cualquier modelo individual logró por sí solo.