Cómo funciona Mixture-of-Experts: la arquitectura de las redes neuronales modernas

Investigadores de Apple han detectado una ineficiencia en la arquitectura Mixture-of-Experts, un método de enrutamiento que usan las redes neuronales modernas para repartir los datos entre módulos especializados llamados expertos.

Qué es un camino de expertos

En una arquitectura Mixture-of-Experts dispersa, cada token se dirige en cada capa, de forma independiente, a un pequeño subconjunto de N expertos. Un MoE estándar toma esta decisión capa por capa, sin tener en cuenta el historial de las capas anteriores. Con L capas, el número de rutas únicas teóricamente posibles es N^L: para un modelo con 8 expertos y 32 capas, son más de 10^28 variantes.

Apple ML Research propone verlo de otro modo: un «camino de expertos» es la secuencia completa de elecciones de experto que un token realiza a través de todas las capas del modelo. Este enfoque convierte el análisis de MoE, que pasa de ser un conjunto de decisiones independientes por capa, en un análisis de trayectorias completas.

Las observaciones clave de los autores:

• A pesar de las N^L rutas posibles, los tokens se agrupan en una pequeña fracción de ellas
• Los caminos populares no son aleatorios: corresponden a funciones lingüísticas de los tokens (categoría gramatical, papel sintáctico, tipo semántico)
• La inmensa mayoría de las rutas teóricamente admisibles queda sin explorar durante el entrenamiento
• Los autores lo llaman «ineficiencia estadística»

¿Por qué son un problema los caminos sin explorar?

Si la mayoría de las rutas no se usa, los expertos de esos caminos reciben muy pocas actualizaciones de gradiente. La carga se reparte de forma desigual: parte de los expertos está sobrecargada y ve un número desproporcionado de tokens, mientras que otros permanecen ociosos y quedan poco entrenados.

El modelo dispone formalmente de una capacidad enorme (N^L rutas multiplicadas por los parámetros de cada experto), pero en la práctica aprovecha solo una pequeña parte. Al escalar a cientos de expertos y decenas de capas, esta brecha entre el potencial teórico y el práctico se hace especialmente visible.

Hay una complicación adicional: sin restricciones explícitas, el enrutador debe descubrir por sí mismo los caminos «buenos» en un enorme espacio combinatorio, lo que hace el entrenamiento menos estable y predecible.

Cómo funciona Path-Constrained MoE

Apple ML Research propone una familia de arquitecturas que reducen de forma explícita el espacio efectivo de caminos. En Path-Constrained MoE, el enrutador elige el siguiente experto teniendo en cuenta el camino que el token ya ha recorrido, y lo mantiene dentro de un subconjunto admisible de continuaciones.

El principio clave: si los caminos útiles son una pequeña fracción de N^L y se correlacionan con la estructura lingüística de los tokens, restringir explícitamente el espacio no hace perder poder expresivo al modelo, pero cambia de manera radical la dinámica del entrenamiento. Cada experto dentro del subconjunto admisible recibe un flujo de actualizaciones más uniforme. Las «zonas muertas», es decir, los caminos que nunca se usan en el diseño estándar, se reducen.

La relación entre las rutas activas y la función lingüística de los tokens da a estas restricciones una motivación teórica: la arquitectura codifica lo que el modelo descubriría de todos modos de forma empírica.

Qué significa

El trabajo de Apple ML Research plantea una pregunta sistémica sobre el diseño de las arquitecturas MoE dispersas: el enrutamiento independiente estándar genera un espacio combinatorio enorme, pero prácticamente vacío. El enfoque Path-Constrained puede hacer que los grandes modelos de lenguaje sean más eficientes en parámetros, más estables en el entrenamiento y más predecibles, sobre todo al escalar a cientos de expertos y decenas de capas.

¿Qué es Mixture-of-Experts en las redes neuronales?

Es una arquitectura en la que cada token (elemento de texto) se dirige a un subconjunto de expertos especializados en lugar de ser procesado por todos los parámetros del modelo, lo que ahorra cómputo.

¿Por qué es importante la investigación de Apple?

Muestra que la mayoría de las rutas teóricamente posibles en las arquitecturas MoE queda sin usar, lo que implica un aprovechamiento ineficiente del potencial de estos modelos.