Un desarrollador de Strata construye un mapa en vivo de 24 576 expertos MoE en una GTX 1070

Ejecutar un modelo enorme en una tarjeta gráfica antigua ya no sorprende a nadie. Mucho más raro es que alguien muestre qué ocurre por dentro durante esa ejecución. El autor de una serie de artículos sobre Qwen3.8-Flash-Next (125 000 millones de parámetros) y la GPU GTX 1070 se ha asomado, en el tercer texto, al interior de su propio motor, Strata. Ha construido una visualización en vivo del trabajo de los expertos e intentó responder a una pregunta: ¿se especializan realmente por temas?

Una salvedad importante: el fragmento disponible no incluye cifras finales ni conclusión. Conocemos el planteamiento del problema, la arquitectura y el hecho de que el autor encontró un error metodológico en su propio trabajo. El fragmento no recoge los resultados del experimento, y no vamos a inventarlos.

Cómo caben 125 000 millones de parámetros en 8 GB

Strata es un motor de inferencia para modelos MoE (Mixture-of-Experts). En una red densa convencional, todos los pesos trabajan con cada token. En un MoE, cada capa tiene un conjunto de «expertos» y, para cada token, se activa solo un pequeño subconjunto, el llamado top-K.

Qwen3.8-Flash-Next tiene 48 capas de 512 expertos cada una, es decir, 48 × 512 = 24 576 nodos independientes. En cada paso solo calcula una pequeña parte de ellos. Pero hay que almacenarlos todos, y eso supone cientos de gigabytes. Un conjunto así no cabe en los 8 GB de memoria de vídeo de la GTX 1070.

Strata resuelve el problema con una caché adaptativa:

• los expertos más «calientes» permanecen siempre en la VRAM;
• el resto se lee de la memoria RAM o del SSD según se necesita;
• la caché decide a quién conservar y a quién expulsar mediante un contador de accesos decayed, es decir, un contador en el que los accesos antiguos van perdiendo peso poco a poco.

Dicho de forma sencilla, es una caché LRU/LFU para fragmentos de una red neuronal. La eficacia de este esquema depende por completo de lo predecible que sea la elección de expertos por parte del router. Si los accesos se concentran en un núcleo reducido, el hit rate es alto y el modelo funciona de forma aceptable. Si se reparten de manera uniforme, todo depende de la velocidad del SSD.

Por qué hacía falta un «mapa en vivo»

Hasta ahora, el autor solo veía la mecánica a través de agregados en el monitoreo: cuántos expertos hay en la VRAM en cada momento y cuál es el hit rate. Es una situación típica de la ingeniería de inferencia: el panel indica si todo va bien o mal, pero no explica por qué.

Visualizar 24 576 nodos en tiempo real cubre justamente ese vacío. En el mapa se puede observar qué expertos se iluminan con qué tokens, cómo se forma el núcleo caliente y cómo la caché expulsa y vuelve a cargar datos. Para quien desarrolla un stack de inferencia, un mapa así funciona como un profiler: muestra los patrones de acceso y ayuda a decidir qué cambiar en la política de expulsión.

Especialización de los expertos y trampa metodológica

El autor no se detuvo ahí y se planteó una pregunta muy popular: ¿se especializan los expertos por temas, por ejemplo, unos para código, otros para matemáticas y otros para lenguaje conversacional? La idea resulta atractiva. Si existe esa especialización, la caché podría precalentarse de antemano según el tipo de tarea.

A mitad del camino, el autor se sorprendió cometiendo un error metodológico que «casi lleva a una conclusión bonita pero errónea». En qué consistía exactamente, no se desprende del fragmento. Sin embargo, las trampas típicas de este tipo de experimentos son conocidas (este es un comentario general nuestro, no un resumen del artículo):

• los expertos pueden reaccionar a rasgos formales del token, como el idioma, las mayúsculas y minúsculas, la frecuencia o la posición en el texto, y no al tema;
• sin una comparación de control con una línea base, cualquier mapa de activaciones parece «con sentido»;
• una muestra pequeña de prompts genera clústeres llamativos pero casuales.

Qué conclusiones sacar

Primera: si ejecutas un MoE en hardware limitado, no te fijes solo en el hit rate medio, sino también en la distribución de los accesos por expertos y capas. Es lo que revela si la caché funciona con tu carga de trabajo.

Segunda: la hipótesis de que «los expertos se especializan por temas» debe contrastarse con grupos de control y con distintos tipos de texto. Una visualización bonita no es una prueba.

Tercera: conviene construir pronto herramientas de observabilidad para la inferencia. Una caja negra con agregados oculta tanto los problemas como las oportunidades de optimización.

Las limitaciones son evidentes. Es el proyecto de un solo entusiasta con una sola tarjeta gráfica antigua, y las conclusiones sobre la especialización, a juzgar por el propio planteamiento, requieren cautela. Pero como ejemplo de trabajo de ingeniería honesto, en el que el autor cuenta públicamente su propio error, el material merece leerse completo.