Como funciona o Mixture-of-Experts: a arquitetura das redes neurais modernas

Pesquisadores da Apple encontraram uma ineficiência na arquitetura Mixture-of-Experts, um método de roteamento que as redes neurais modernas usam para distribuir dados entre módulos especializados chamados especialistas.

O que é um caminho de especialistas

Em uma arquitetura Mixture-of-Experts esparsa, cada token em cada camada é direcionado, de forma independente, a um pequeno subconjunto de N especialistas. Um MoE padrão toma essa decisão camada por camada, sem levar em conta o histórico das camadas anteriores. Com L camadas, o número de rotas únicas teoricamente possíveis é N^L: para um modelo com 8 especialistas e 32 camadas, são mais de 10^28 variantes.

A Apple ML Research propõe olhar para isso de outro modo: um "caminho de especialistas" é a sequência completa de escolhas de especialista que um token faz ao longo de todas as camadas do modelo. Essa visão transforma a análise de MoE, antes um conjunto de decisões independentes por camada, em uma análise de trajetórias completas.

As principais observações dos autores:

• Apesar das N^L rotas possíveis, os tokens se concentram em uma pequena fração delas
• Os caminhos populares não são aleatórios: correspondem a funções linguísticas dos tokens (classe gramatical, papel sintático, tipo semântico)
• A esmagadora maioria das rotas teoricamente admissíveis permanece inexplorada durante o treinamento
• Os autores chamam isso de "ineficiência estatística"

Por que os caminhos inexplorados são um problema?

Se a maioria das rotas não é usada, os especialistas nesses caminhos recebem pouquíssimas atualizações de gradiente. A carga é distribuída de forma desigual: parte dos especialistas fica sobrecarregada e vê um número desproporcional de tokens, enquanto outra parte fica ociosa e continua mal treinada.

Formalmente, o modelo tem uma capacidade enorme (N^L rotas multiplicadas pelos parâmetros de cada especialista), mas na prática usa apenas uma pequena parte dela. Ao escalar para centenas de especialistas e dezenas de camadas, essa distância entre o potencial teórico e o prático fica ainda mais evidente.

Há uma complicação adicional: sem restrições explícitas, o roteador precisa descobrir sozinho os caminhos "bons" em um espaço combinatório gigantesco, o que torna o treinamento menos estável e previsível.

Como funciona o Path-Constrained MoE

A Apple ML Research propõe uma família de arquiteturas que estreitam explicitamente o espaço efetivo de caminhos. No Path-Constrained MoE, o roteador escolhe o próximo especialista levando em conta o caminho que o token já percorreu, mantendo-o dentro de um subconjunto permitido de continuações.

O princípio central: se os caminhos úteis são uma pequena fração de N^L e se correlacionam com a estrutura linguística dos tokens, restringir explicitamente o espaço não faz o modelo perder poder expressivo, mas muda radicalmente a dinâmica do treinamento. Cada especialista dentro do subconjunto permitido recebe um fluxo de atualizações mais uniforme. As "zonas mortas", ou seja, caminhos que nunca são usados no design padrão, diminuem.

A ligação entre as rotas ativas e a função linguística dos tokens dá a essas restrições uma motivação teórica: a arquitetura codifica o que o modelo descobriria empiricamente de qualquer forma.

O que isso significa

O trabalho da Apple ML Research levanta uma questão sistêmica sobre o design de arquiteturas MoE esparsas: o roteamento independente padrão gera um espaço combinatório enorme, mas praticamente vazio. A abordagem Path-Constrained pode tornar grandes modelos de linguagem mais eficientes em parâmetros, mais estáveis no treinamento e mais previsíveis, principalmente ao escalar para centenas de especialistas e dezenas de camadas.

O que é Mixture-of-Experts em redes neurais?

É uma arquitetura em que cada token (elemento de texto) é direcionado a um subconjunto de especialistas em vez de ser processado por todos os parâmetros do modelo, o que economiza computação.

Por que a pesquisa da Apple é importante?

Ela mostra que a maioria das rotas teoricamente possíveis em arquiteturas MoE permanece sem uso, o que significa um aproveitamento ineficiente do potencial desses modelos.