Mistura de Agentes

Mistura de Agentes é uma arquitetura de colaboração multi-modelo proposta por Wang et al. na Together AI em 2024. Diferencia-se de Mistura de Especialistas (MoE), que roteia tokens através de sub-redes especializadas dentro de um único modelo no nível dos pesos. Em MoA, múltiplas instâncias completas e independentes de LLM—chamadas de proponentes—respondem cada uma à consulta de entrada em paralelo, e suas saídas são então passadas para um modelo agregador que sintetiza uma resposta final. A observação empírica central que motiva o design é que modelos de linguagem melhoram de forma confiável a qualidade de suas saídas quando confrontados com respostas de referência diversas, mesmo quando essas referências provêm de modelos mais fracos ou de nível similar.

Em um pipeline MoA padrão, modelos proponentes recebem apenas a consulta original e respondem independentemente. O agregador recebe a consulta original mais todas as saídas dos proponentes e é instruído a sintetizar, corrigir e estender essas saídas em uma resposta coerente única. Múltiplas rodadas de agregação podem ser aplicadas sequencialmente, destilando progressivamente qualidade. Os proponentes e agregador podem ser extraídos de diferentes provedores ou famílias de modelos, permitindo complementar pontos fortes—como parear um modelo com forte recordação factual contra um com raciocínio estruturado mais forte.

MoA permite aos praticantes melhorar a qualidade das respostas sem acesso aos pesos do modelo ou capacidade de executar fine-tuning, combinando APIs publicamente disponíveis. Em benchmarks publicados com o artigo de 2024, uma configuração MoA usando modelos de código aberto superou GPT-4o no AlpacaEval 2.0 no momento do lançamento. Também oferece um caminho natural para combinar modelos especializados para tarefas específicas de domínio.

A partir de 2026, MoA influenciou padrões de ensemble em sistemas de agentes em produção e contribuiu para pesquisa em inferência colaborativa e debate em LLM. A restrição prática primária é custo e latência: executar múltiplos modelos completos por consulta multiplica despesas de inferência e tempo de resposta. Otimizações incluindo agregação especulativa, cache de modelo e roteamento de consultas para proponentes menores em tarefas de baixa complexidade foram exploradas para reduzir sobrecarga em implantações comerciais.

Exemplo

“Uma plataforma de atendimento ao cliente consulta três LLMs diferentes com uma pergunta complexa sobre política de reembolso, então passa todas as três respostas para um quarto modelo agregador que sintetiza uma resposta única, internamente consistente e com precisão factual superior à alcançada por qualquer modelo individual isoladamente.