Xiaomi MiMo переходит на encoder-decoder: в 5 раз меньше prefill на 1M контекста

Длинный контекст в LLM давно стал не фичей, а счётом за железо. Загрузили в модель миллион токенов — заплатили дважды: сначала временем и вычислениями на prefill, потом памятью под KV-кэш, который раздувается вместе с контекстом. Теперь Xiaomi, по данным SemiAnalysis, пробует решить это на уровне архитектуры.

Что именно меняется

Аналитики SemiAnalysis пишут, что следующее поколение моделей Xiaomi MiMo переходит на causal encoder-decoder. Это происходит после того, как похожий путь выбрал DeepSeek V4.1 Flash. Архитектура называется HySparse2, и ключевые детали в посте такие: промпт проходит всего через 25 из 49 слоёв, а KV-кэш декодера не считается с нуля, а проецируется из состояний энкодера.

В привычной декодерной модели каждый слой обрабатывает каждый токен промпта и сохраняет свои ключи и значения. Здесь схема другая: тяжёлую часть работы по чтению длинного входа берёт на себя энкодер, а декодер получает от него готовые состояния и строит из них свой KV.

Представьте юриста, которому дали 500 страниц договора. Можно заставить его перечитывать всё целиком каждый раз, когда он отвечает на вопрос. А можно один раз сделать конспект и дальше работать с ним. Аналогия грубая, но суть передаёт: дорогое чтение входа выносится в отдельный этап, и им занимается лишь часть слоёв.

Цифры

На контексте в 1M токенов, в сравнении с MiMo-V2, SemiAnalysis называет два результата:

• в 5 раз меньше вычислений на prefill;
• в 4,5 раза меньший KV-кэш.

Первая цифра означает, что время до первого токена на огромных промптах может заметно упасть, а стоимость обработки входа снизится. Вторая бьёт по памяти: меньше кэш — больше одновременных запросов на ту же GPU или длинный контекст на более скромной конфигурации.

При этом важно понимать, откуда сравнение. Это сопоставление с предыдущей моделью самой Xiaomi, а не независимый бенчмарк против конкурентов. И в посте нет данных о качестве: как новая архитектура держит точность на длинном контексте, пока неизвестно.

Почему это важно

Главный сигнал здесь — тренд. Две заметные китайские лаборатории подряд двигаются к схеме, где вход и генерация обрабатываются по-разному. Для индустрии, которая годами жила в парадигме «только декодер», это заметный сдвиг. Эффективность инференса на длинном контексте становится конкурентным преимуществом наравне с качеством.

Для тех, кто строит продукты на длинном контексте, — RAG без агрессивного чанкинга, анализ кодовых баз, агенты с долгой памятью — это потенциальное удешевление сценариев, которые сейчас упираются в память и задержку.

Ограничения и что делать

Сначала о том, чего мы не знаем. В посте нет данных о качестве, о том, как модель ведёт себя на задачах с длинным контекстом, и о том, когда именно выйдут модели и будут ли открыты веса. Цифры приведены для 1M токенов, на коротких промптах выигрыш может быть куда скромнее. Источник — пост аналитиков, а не технический отчёт Xiaomi.

Практический вывод для разработчиков и продактов:

• не переписывайте стек под новую архитектуру, пока нет открытых весов и независимых замеров;
• если вы считаете экономику длинного контекста, заложите сценарий, в котором стоимость prefill и памяти падает в разы;
• следите за поддержкой encoder-decoder в инференс-движках: именно от неё зависит, насколько быстро выигрыш дойдёт до реальных продуктов.

Если заявленные 5x и 4,5x подтвердятся на практике без потери качества, это будет один из самых ощутимых шагов к дешёвому миллиону токенов.