llama-modchip запускает DeepSeek на 284 млрд параметров в 64 ГБ без GPU

Если у команды есть сервер без видеокарты, локального помощника можно попробовать запустить на его процессоре. Именно такой сценарий предлагает llama-modchip. Практический вопрос здесь простой: сможет ли уже оплаченное железо разбирать документы или помогать с кодом с приемлемой задержкой? Проект даёт повод поставить эксперимент, хотя готового ответа для вашей машины пока нет.

Автор заявляет запуск DeepSeek-V4-Flash на 284 млрд параметров в системе с 64 ГБ оперативной памяти и скорость генерации 9,1–14,7 токена в секунду. Это результаты разработчика проекта; мы их не воспроизводили. Первоисточник — репозиторий llama-modchip.

Как большая модель помещается в память

В основе проекта — сжатие весов и изменения вычислительных ядер llama.cpp. DeepSeek использует архитектуру MoE: при обработке токена работает часть параметров. Поэтому общее число параметров само по себе плохо объясняет вычислительную нагрузку. Размер модели после сжатия автор оценивает в 56,56 ГиБ, а замеры приводит для процессора AMD Ryzen 9 9955HX. Условия описаны в README.

На бытовом уровне идея похожа на хранение большого справочника в более компактной записи: он занимает меньше места, а для конкретного ответа нужны отдельные разделы. Аналогия объясняет экономию ресурсов, но ничего не доказывает про качество. Насколько хорошо сохраняются ответы после сжатия, нужно проверять отдельно.

Представим внутреннего помощника для службы поддержки. Сотрудник передаёт ему обращение клиента и несколько выдержек из инструкции, а модель готовит черновик ответа. Для такого сценария полезно измерять весь путь: отправили запрос, дождались начала ответа, получили законченный черновик, проверили факты. Именно это время определяет, захочет ли сотрудник пользоваться инструментом каждый день.

Если помощник выдаёт текст достаточно быстро, но регулярно путает условия возврата, экономия на оборудовании теряет смысл. Если отвечает правильно, однако заставляет ждать перед каждым сообщением, стоит проверить более компактную модель. Размер в названии не заменяет сравнение на рабочей задаче.

Где заканчиваются обещания скорости

Верхняя и нижняя границы заявленного диапазона получены с разными режимами ускорения. Ещё одно ограничение — совместимость: специальные файлы модели требуют сборки проекта; стандартные Ollama и LM Studio их не загрузят. Эти оговорки есть в документации.

Для разработчика отсюда следует вполне конкретный план проверки. Сначала взять несколько десятков типичных запросов и заранее определить признаки хорошего ответа. Затем прогнать тот же набор через альтернативу, которую команда уже рассматривает: меньшую локальную модель или внешний API. Сравнивать стоит правильность, задержку и объём ручных исправлений.

Отдельный прогон нужен для одновременных обращений. Удобная переписка одного человека ещё не означает, что сервер выдержит рабочий день команды. Полезно проверить, как растёт очередь, остаётся ли память для приложения и что происходит при длинном запросе. Для виртуальной машины такие измерения особенно важны: результаты на конкретном ноутбучном процессоре не определяют возможности арендованного экземпляра.

Кому имеет смысл попробовать

Самый понятный кандидат — команда с доступным CPU-сервером и задачами, для которых допустима пауза. Например, подготовка черновиков, разбор внутренних текстов или обработка очереди документов. Это возможные применения, а не подтверждённые результаты проекта.

Начать разумно с отдельного стенда и небольшой выборки реальных материалов. Зафиксировать версию сборки, параметры запуска и результаты, чтобы эксперимент можно было повторить. После этого посчитать стоимость полезного ответа с учётом аренды, сопровождения и проверки человеком.

Для основателя ценность новости — в появлении ещё одного варианта инфраструктуры. Для продакта — в возможности проверить локальный сценарий до покупки оборудования. Для разработчика — в конкретном эксперименте: выяснить, хватает ли имеющегося CPU под нужную нагрузку. Решение о внедрении появится после такого замера.