Разработчик Strata построил живую карту 24 576 экспертов MoE на GTX 1070

Запустить огромную модель на старой видеокарте уже никого не удивляет. Гораздо реже кто-то показывает, что происходит внутри при таком запуске. Автор серии статей про Qwen3.8-Flash-Next (125 млрд параметров) и видеокарту GTX 1070 в третьем тексте полез внутрь собственного движка Strata. Он построил живую визуализацию работы экспертов и попытался ответить на вопрос, действительно ли они специализируются по темам.

Важная оговорка: в доступном отрывке нет итоговых цифр и вывода. Мы знаем постановку задачи, архитектуру и сам факт, что автор нашёл у себя методологическую ошибку. Результатов эксперимента в отрывке нет, и придумывать их мы не будем.

Как 125 миллиардов параметров помещаются в 8 ГБ

Strata — движок инференса для MoE-моделей (Mixture-of-Experts). В обычной плотной сети на каждый токен работают все веса. В MoE на каждом слое есть набор «экспертов», и для каждого токена активируется только небольшое подмножество, так называемый top-K.

У Qwen3.8-Flash-Next 48 слоёв по 512 экспертов, то есть 48 × 512 = 24 576 отдельных узлов. На каждом шаге реально считает лишь малая их часть. Но хранить нужно всех, а это сотни гигабайт. В 8 ГБ видеопамяти GTX 1070 такой набор не поместится.

Strata решает проблему адаптивным кэшем:

• самые «горячие» эксперты постоянно лежат в VRAM;
• остальные читаются из оперативной памяти или с SSD по мере надобности;
• кого держать, а кого вытеснять, кэш определяет по decayed-счётчику обращений, то есть по счётчику, в котором старые обращения постепенно теряют вес.

Проще говоря, это LRU/LFU-кэш для кусков нейросети. Эффективность такой схемы целиком зависит от того, насколько предсказуемо роутер выбирает экспертов. Если обращения концентрируются на небольшом ядре, hit rate высокий и модель работает сносно. Если расползаются равномерно, всё упирается в скорость SSD.

Зачем понадобилась «живая карта»

До этого автор видел механику только через агрегаты в мониторинге: сколько экспертов сейчас в VRAM и каков hit rate. Это типичная ситуация для инференс-инженерии: дашборд говорит, что всё нормально или ненормально, но не объясняет почему.

Визуализация 24 576 узлов в реальном времени закрывает именно этот пробел. На ней можно наблюдать, какие эксперты загораются на каких токенах, как формируется горячее ядро, как кэш вытесняет и подгружает данные. Для разработчика инференс-стека такая карта работает как профайлер, который показывает паттерны доступа и помогает понять, что менять в политике вытеснения.

Специализация экспертов и методологическая ловушка

На этом автор не остановился и задал популярный вопрос: специализируются ли эксперты по темам, скажем отдельные для кода, математики и разговорной речи. Идея заманчивая. Если специализация есть, кэш можно прогревать под тип задачи заранее.

На середине пути автор поймал себя на методологической ошибке, которая «чуть не привела к красивому, но неверному выводу». В чём именно она состояла, из отрывка не видно. Но типичные ловушки в таких экспериментах известны (это наш общий комментарий, а не пересказ статьи):

• эксперты могут реагировать на формальные признаки токена, например язык, регистр, частотность или позицию в тексте, а не на тему;
• без контрольного сравнения с базовой линией любая карта активаций выглядит «осмысленной»;
• маленькая выборка промптов даёт яркие, но случайные кластеры.

Что из этого вынести

Первое: если вы запускаете MoE на ограниченном железе, смотрите не только на средний hit rate, но и на распределение обращений по экспертам и слоям. Именно оно показывает, работает ли кэш на вашей нагрузке.

Второе: гипотезу «эксперты специализируются по темам» нужно проверять с контрольными группами и разными типами текста. Красивая визуализация не является доказательством.

Третье: инструменты наблюдаемости для инференса стоит строить рано. Чёрный ящик с агрегатами скрывает как проблемы, так и возможности оптимизации.

Ограничения очевидны. Это проект одного энтузиаста на одной старой видеокарте, а выводы про специализацию, судя по самой постановке, требуют осторожности. Но как пример честной инженерной работы, где автор публично рассказывает о собственной ошибке, материал заслуживает чтения в полном виде.