Mélange d'Agents

Mélange d'Agents est une architecture de collaboration multi-modèles proposée par Wang et al. chez Together AI en 2024. Elle se distingue du Mélange d'Experts (MoE), qui achemine les tokens à travers des sous-réseaux spécialisés à l'intérieur d'un modèle unique au niveau des poids. Dans MoA, plusieurs instances LLM complètes et indépendantes—appelées proposants—répondent chacune à la requête en entrée en parallèle, et leurs résultats sont ensuite transmis à un modèle agrégateur qui synthétise une réponse finale. L'observation empirique fondamentale motivant la conception est que les modèles de langage améliorent de manière fiable la qualité de leurs résultats lorsqu'on leur montre des réponses de référence diversifiées, même lorsque ces références proviennent de modèles plus faibles ou de niveau équivalent.

Dans un pipeline MoA standard, les modèles proposants reçoivent uniquement la requête d'origine et répondent indépendamment. L'agrégateur reçoit la requête d'origine ainsi que tous les résultats des proposants et est invité à synthétiser, corriger et étendre ces résultats en une réponse unique et cohérente. Plusieurs rounds d'agrégation peuvent être appliqués séquentiellement, distillant progressivement la qualité. Les proposants et l'agrégateur peuvent provenir de différents fournisseurs ou familles de modèles, permettant des forces complémentaires—par exemple, associer un modèle avec un fort rappel factuel à un modèle avec un meilleur raisonnement structuré.

MoA permet aux praticiens d'améliorer la qualité des réponses sans accès aux poids du modèle ou la capacité à exécuter un fine-tuning, en combinant des API disponibles publiquement. Dans les benchmarks publiés avec l'article de 2024, une configuration MoA utilisant des modèles open-weight a surpassé GPT-4o sur AlpacaEval 2.0 au moment de la publication. Elle offre également un chemin naturel pour combiner des modèles spécialisés pour des tâches spécifiques à un domaine.

À partir de 2026, MoA a influencé les modèles d'ensemble dans les systèmes d'agents en production et a contribué à la recherche sur l'inférence collaborative et le débat LLM. La principale contrainte pratique est le coût et la latence : exécuter plusieurs modèles complets par requête multiplie les dépenses d'inférence et le temps de réponse. Des optimisations incluant l'agrégation spéculative, la mise en cache des modèles et l'acheminement des requêtes vers des proposants plus petits pour les tâches de faible complexité ont été explorées pour réduire les frais généraux dans les déploiements commerciaux.

Exemple

“Une plateforme de service client interroge trois LLMs différents avec une question complexe de politique de remboursement, puis transmet les trois réponses à un quatrième modèle agrégateur qui synthétise une réponse unique et cohérente avec une plus grande précision factuelle que n'importe quel modèle individuel n'aurait pu atteindre seul.