KTransformers отдал CPU часть расчётов MoE и убрал пересылку весов при дообучении

Проект KTransformers предлагает считать эксперты MoE-модели на процессоре прямо во время дообучения, а не гонять их веса на видеокарту. Мишень авторов — открытые флагманы DeepSeek-V4, Qwen-3.8, Kimi-K3 и GLM-5.3. Каждый такой релиз резко поднимает планку качества, но большинство разработчиков по-прежнему работают с ними только через API: тюнинг под свои задачи упирается в память и стоимость железа.

Где ломается дообучение больших MoE

MoE-модель хранит сотни миллиардов, а то и триллион параметров, но на каждый токен активирует лишь несколько экспертов. Инференс на такой архитектуре дешёвый по вычислениям, а вот по памяти она тяжёлая. Все эксперты должны где-то лежать, и в видеопамяти одной-двух карт они не помещаются.

Стандартное решение — оффлоад. Веса живут в оперативной памяти, а на каждом шаге нужные эксперты копируются на GPU, обрабатываются и уходят обратно. При дообучении цена выше, чем при инференсе: нужны и прямой, и обратный проход, и обновление параметров.

Пропорции здесь неприятные. PCIe 5.0 x16 даёт теоретически около 64 ГБ/с в одну сторону. HBM у H100 SXM — около 3,35 ТБ/с, то есть примерно в 50 раз больше. Ускоритель простаивает в ожидании данных. Заголовок анонса говорит ровно об этом: вычисления не должны ждать, пока перенесут веса.

Что меняет подключение CPU

Идея KTransformers: если веса экспертов уже лежат в RAM, их проще считать там же. Серверный процессор с 12 каналами DDR5 даёт порядка 400+ ГБ/с пропускной способности памяти на сокет. Это на порядок выше, чем шина PCIe. Вычислительно CPU слабее GPU, но активных экспертов на токен мало, и такая нагрузка ложится на процессор лучше, чем кажется.

Проект и раньше строился вокруг гибридной схемы CPU+GPU. Разработчики из лаборатории MADSys при Университете Цинхуа показывали запуск крупных MoE-моделей на одной видеокарте с большим объёмом RAM. Новая работа переносит этот подход с инференса на обучение, где требования к памяти и синхронизации жёстче.

Из заголовка и вступления анонса следуют такие параметры:

• Распределение работы: GPU берёт плотные части модели, а MoE-эксперты считаются на CPU.
• Что убрано: пересылка весов экспертов через PCIe на каждом шаге.
• Целевые модели: DeepSeek-V4, Qwen-3.8, Kimi-K3, GLM-5.3.
• Сценарий: дообучение на ресурсах, недоступных для полноценного GPU-кластера.
• Лицензия и код: KTransformers развивается как открытый проект.

Чего в анонсе пока не видно

В доступном фрагменте нет ни скорости в токенах в секунду, ни требований к RAM, ни сравнения с классическим оффлоадом. Не указаны метод тюнинга (LoRA или полный), поддерживаемые процессоры и степень потери точности. Без этих данных нельзя сказать, насколько схема практична для задач вне демонстрации.

Главный вопрос — масштабирование. Если процессор считает эксперты быстрее, чем их передаёт шина, выигрыш будет заметным. При длинных батчах нагрузка на CPU растёт, и преимущество может исчезнуть. Это нужно проверять на реальных конфигурациях.

Кому и когда это пригодится

Команде, у которой есть сервер с 1–2 ТБ RAM и одна-две видеокарты, но нет бюджета на восьмикарточный узел, стоит присмотреться к KTransformers. Для таких проектов дообучение флагманской MoE на собственных данных может стать реальной задачей, а не мечтой. Первым делом нужно проверить три вещи: какой метод тюнинга поддержан, сколько RAM требуется под вашу модель и какая скорость получается на вашем процессоре. Для пилота хватит небольшой задачи, например доменной адаптации через LoRA. Если цифры сойдутся, можно думать о масштабировании. Если нет, остаётся арендовать GPU-часы.