La decodificación síncrona en MoE obliga a las GPU a esperar al grupo más cargado

Añadir GPU a un clúster que sirve un LLM y obtener menos rendimiento del esperado es una situación típica en los grandes despliegues online. Según Jiqizhixin, en los esquemas para modelos MoE como DeepSeek el problema está en la espera. Varios grupos de tarjetas procesan en paralelo sus propias solicitudes, pero todos completan juntos cada paso de decodificación a través de la comunicación entre grupos.

El paso avanza «al unísono»: hasta que el grupo más cargado no termina de calcular, los demás se quedan parados. En el fragmento disponible del artículo no hay cifras concretas ni se describe el método en sí. A continuación se explica la mecánica del problema a partir de lo que sí se dice en él.

Por qué el paso dura lo mismo que el grupo más lento

En los despliegues de modelos MoE, el trabajo se reparte entre grupos de tarjetas. Cada grupo tiene su propio conjunto de solicitudes, y la carga varía de un grupo a otro: en unos hay conversaciones largas con mucho contexto y en otros, intervenciones cortas. Pero la decodificación no se reduce a cálculos independientes. En cada paso, los grupos deben intercambiar datos para recorrer las capas del modelo, incluido el reparto de tokens entre los expertos, que están alojados en tarjetas distintas.

Ese intercambio funciona como una barrera. El grupo que termina antes no puede adelantarse y espera. El tiempo del paso lo determina el máximo entre los grupos, no la media. Si la dispersión de la carga crece con el número de grupos, también crece la probabilidad de que haya un nodo muy sobrecargado. Hay más tarjetas, pero aumenta la proporción de tiempo que pasan inactivas.

Dónde se pierde el aumento de rendimiento

El problema no es la falta de potencia de cálculo. Aceleradores caros esperan a sus vecinos, y su coste se paga por completo. Sobre el papel, la utilización es alta; en la práctica, parte del tiempo se va en esperas.

De la descripción se desprenden estas características de la situación:

• Modo: servicio online con un gran número de solicitudes simultáneas.
• Arquitectura: modelo MoE desplegado en paralelo en varios grupos de tarjetas.
• Cuello de botella: paso de decodificación síncrono con comunicación entre grupos.
• Síntoma: el rendimiento crece más despacio que el número de tarjetas.
• Principal factor de pérdidas: desequilibrio de carga entre grupos, por el que los rápidos esperan a los lentos.

El último punto lo deduzco de la lógica del esquema, no de una cita. Pero la frase «hasta que el grupo más ocupado no termina de calcular, los demás esperan» no admite otra explicación.

Qué se sabe de la solución

El titular promete una «nueva solución» para la espera en la inferencia. El fragmento disponible solo habla del planteamiento del problema. No se sabe qué método proponen los autores, en qué modelos y hardware lo probaron ni qué mejora obtuvieron. Cualquier cifra de aceleración sin el texto completo sería inventada, por eso aquí no aparece ninguna.

Se conoce la clase general de soluciones para este tipo de problemas: equilibrar la carga entre grupos, repartir las solicitudes entre ellos de forma inteligente y solapar el cálculo con la comunicación. No se puede decir cuál de ellas se usa en este trabajo.

Conclusión práctica

Un equipo que monte por su cuenta inferencia de MoE debería comprobar qué es lo que realmente frena el escalado. Primero conviene medir la dispersión del tiempo de paso entre grupos de tarjetas, y no solo el rendimiento total. Si el grupo más lento va claramente por detrás de la media, es pronto para comprar más GPU: parte de ellas estará inactiva. Después hay que revisar cómo se distribuyen las solicitudes entre los grupos, porque la longitud del contexto y el número de solicitudes activas influyen mucho en el tiempo del paso. Y solo entonces tiene sentido calcular el coste por token con distinto número de tarjetas.

Conviene leer el texto completo de la investigación antes de llevar el método a producción. Por ahora, lo único que se sabe de él es dónde buscar las pérdidas.