Xiaomi MiMo pasa a encoder-decoder: 5 veces menos prefill con 1M de contexto

El contexto largo en los LLM hace tiempo que dejó de ser una función para convertirse en una factura de hardware. Cargas un millón de tokens en el modelo y pagas dos veces: primero en tiempo y cómputo para el prefill, y luego en memoria para la caché KV, que se infla junto con el contexto. Ahora Xiaomi, según SemiAnalysis, intenta resolverlo a nivel de arquitectura.

Qué cambia exactamente

Los analistas de SemiAnalysis escriben que la próxima generación de modelos Xiaomi MiMo pasa a un encoder-decoder causal. Esto ocurre después de que DeepSeek V4.1 Flash eligiera un camino similar. La arquitectura se llama HySparse2, y los detalles clave del post son estos: el prompt atraviesa solo 25 de 49 capas, y la caché KV del decodificador no se calcula desde cero, sino que se proyecta a partir de los estados del codificador.

En un modelo decodificador habitual, cada capa procesa cada token del prompt y guarda sus propias claves y valores. Aquí el esquema es distinto: el codificador asume el trabajo pesado de leer la entrada larga, mientras que el decodificador recibe de él estados ya preparados y construye con ellos su propio KV.

Imagine a un abogado al que le entregan un contrato de 500 páginas. Se le puede obligar a releerlo entero cada vez que responde una pregunta. O puede hacer un resumen una sola vez y trabajar con él después. La analogía es tosca, pero transmite la esencia: la costosa lectura de la entrada se traslada a una etapa aparte, de la que se encarga solo una parte de las capas.

Las cifras

Con un contexto de 1M de tokens, en comparación con MiMo-V2, SemiAnalysis menciona dos resultados:

• 5 veces menos cómputo en prefill;
• una caché KV 4,5 veces menor.

La primera cifra significa que el tiempo hasta el primer token en prompts enormes puede bajar notablemente, y el coste de procesar la entrada disminuirá. La segunda afecta a la memoria: menos caché implica más solicitudes simultáneas en la misma GPU o contexto largo en una configuración más modesta.

Es importante entender de dónde sale la comparación. Se trata de un contraste con el modelo anterior de la propia Xiaomi, no de un benchmark independiente frente a competidores. Y en el post no hay datos de calidad: cómo mantiene la precisión la nueva arquitectura en contexto largo aún se desconoce.

Por qué importa

La señal principal aquí es la tendencia. Dos laboratorios chinos destacados seguidos se mueven hacia un esquema donde la entrada y la generación se procesan de forma distinta. Para una industria que durante años vivió en el paradigma «solo decodificador», es un cambio notable. La eficiencia de la inferencia con contexto largo se convierte en una ventaja competitiva a la par de la calidad.

Para quienes construyen productos sobre contexto largo —RAG sin chunking agresivo, análisis de bases de código, agentes con memoria prolongada—, esto supone un posible abaratamiento de escenarios que hoy chocan con la memoria y la latencia.

Limitaciones y qué hacer

Primero, lo que no sabemos. En el post no hay datos sobre la calidad, sobre cómo se comporta el modelo en tareas de contexto largo, ni sobre cuándo saldrán exactamente los modelos y si se abrirán los pesos. Las cifras se dan para 1M de tokens; en prompts cortos la ganancia puede ser mucho más modesta. La fuente es un post de analistas, no un informe técnico de Xiaomi.

Conclusión práctica para desarrolladores y responsables de producto:

• no reescriba su stack para la nueva arquitectura mientras no haya pesos abiertos y mediciones independientes;
• si calcula la economía del contexto largo, incluya un escenario en el que el coste del prefill y de la memoria caiga varias veces;
• siga el soporte de encoder-decoder en los motores de inferencia: de él depende la rapidez con que la mejora llegue a productos reales.

Si los 5x y 4,5x declarados se confirman en la práctica sin pérdida de calidad, será uno de los pasos más tangibles hacia un millón de tokens barato.