Поток 3 · Старт 23.11Живой Поток 3 интенсива «Вайбкодинг и ИИ-агенты» (23 ноября, 18:30 МСК): 3 недели практики, 9 живых встречПоток 3 (23.11) →
ИнфраструктураAPI / Продукт · В работуX: @simplifyinAI→ оригинал

Microsoft запустила модель на 100 млрд параметров на одном CPU: ответы до 6,17 раза быстрее

Microsoft выложила bitnet.cpp — открытую программу, которая запускает языковые модели на обычном процессоре без видеокарты. Секрет в 1-битных моделях: каждый вес равен только −1, 0 или +1, поэтому тяжёлое умножение заменяется сложением. Ответы идут до 6,17 раза быстрее, а энергии уходит до 82,2% меньше. Для локальных ассистентов без GPU это шанс, но модель должна быть обучена сразу в 1-битном формате.

AI-обработка оригинала X: @simplifyinAI; редакция Hamidun News
Microsoft запустила модель на 100 млрд параметров на одном CPU: ответы до 6,17 раза быстрее
Источник: X: @simplifyinAI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @simplifyinAI ↗
Главный редактор
Ключевой факт #1Модель на 100 млрд параметров идёт на одном CPU: 5–7 токенов в секунду
На ARM-чипах выигрыш скромнееускорение в 1,37–5,07 раза
Ключевой факт #3Код открыт, но готовых 100B-моделей в 1-битном формате пока нет

Чтобы запустить большую языковую модель у себя, обычно приходится покупать дорогую видеокарту с огромным объёмом памяти. Microsoft показала другой путь: открытый фреймворк bitnet.cpp запускает модели на обычном центральном процессоре (CPU), том самом, что стоит в ноутбуке или сервере. По заявлению компании, так можно запустить даже модель на 100 млрд параметров (100B), то есть с сотней миллиардов внутренних настроек, которые определяют, как она «думает». Скорость инференса, то есть генерации ответа, при этом растёт до 6,17 раза по сравнению с обычными реализациями, а расход электроэнергии процессором падает до 82,2%. Всё это работает только с особыми, 1-битными моделями, и ниже разберём, что это значит.

Как это устроено на пальцах

В обычной нейросети каждый вес — это число с плавающей точкой, которое занимает 16 бит. Чтобы получить ответ, процессор перемножает миллиарды таких чисел. Это тяжело и дорого по энергии.

В моделях семейства BitNet вес может быть только одним из трёх значений: −1, 0 или +1. Формально это около 1,58 бита на вес, поэтому такие модели называют 1-битными. Представьте бухгалтера, которому вместо умножения сложных сумм надо лишь прибавить число, вычесть или пропустить. Работает он быстрее, а бумаги (то есть памяти) уходит гораздо меньше.

bitnet.cpp — это набор оптимизированных ядер под такую арифметику. Отдельные версии есть для x86 (процессоры Intel и AMD) и для ARM (чипы Apple и смартфоны).

Что показывают цифры

По данным Microsoft, на x86-процессорах вывод ускоряется в 2,37–6,17 раза по сравнению с обычными реализациями, а расход энергии снижается на 71,9–82,2%. На ARM выигрыш скромнее: ускорение в 1,37–5,07 раза и экономия энергии 55,4–70%. В посте, который разошёлся в соцсетях, названы только максимумы: «до 6,17 раза» и «до 82,2%». Реальный результат зависит от процессора и размера модели.

Самая громкая цифра — модель на 100 млрд параметров на одном CPU. По описанию проекта, скорость при этом составляет 5–7 токенов в секунду, примерно как скорость чтения человека. Для чата или локального помощника, где никто не гонится за миллисекундами, этого хватает.

Какие есть ограничения

Здесь нужна важная оговорка. 1-битный формат нельзя применить к любой готовой модели вроде Llama или Qwen: если сжимать модель до такой степени после обучения, качество сильно падает. Модель нужно обучать сразу с ограничением на веса, как BitNet b1.58. Такие модели есть, но они небольшие: например, BitNet b1.58 2B4T на 2 млрд параметров.

Демонстрация на 100B, насколько известно, делалась на модели с нужной архитектурой, а не на обученной модели, которую можно сразу использовать. Готовой 1-битной модели такого размера, сопоставимой по качеству с лучшими открытыми LLM, пока нет. Получается, что bitnet.cpp показывает готовность инфраструктуры, а «умные» большие модели под неё ещё предстоит обучить.

Что с этим делать разработчикам

Если вы делаете локальные ассистенты, офлайн-приложения или встроенные ИИ-функции для устройств без GPU, имеет смысл попробовать bitnet.cpp на небольших BitNet-моделях и замерить скорость и качество на своём железе.

Если вы считаете расходы на облачный инференс, стоит следить за этим направлением. Когда крупные лаборатории начнут выпускать 1-битные модели, часть задач можно будет перенести с GPU-кластеров на обычные серверы. Пока же это перспективная технология, а не готовая замена привычным моделям.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как это устроено на пальцах?

В обычной нейросети каждый вес — это число с плавающей точкой, которое занимает 16 бит. Чтобы получить ответ, процессор перемножает миллиарды таких чисел. Это тяжело и дорого по энергии. В моделях семейства BitNet вес может быть только одним из трёх значений: −1, 0 или +1. Формально это около 1,58 бита на вес, поэтому такие модели называют 1-битными. Представьте бухгалтера, которому вместо умножения сложных сумм надо лишь прибавить число, вычесть или пропустить.

Что известно по теме: что показывают цифры?

По данным Microsoft, на x86-процессорах вывод ускоряется в 2,37–6,17 раза по сравнению с обычными реализациями, а расход энергии снижается на 71,9–82,2%. На ARM выигрыш скромнее: ускорение в 1,37–5,07 раза и экономия энергии 55,4–70%. В посте, который разошёлся в соцсетях, названы только максимумы: «до 6,17 раза» и «до 82,2%». Реальный результат зависит от процессора и размера модели. Самая громкая цифра — модель на 100 млрд параметров на одном CPU.

Что известно по теме: какие есть ограничения?

Здесь нужна важная оговорка. 1-битный формат нельзя применить к любой готовой модели вроде Llama или Qwen: если сжимать модель до такой степени после обучения, качество сильно падает. Модель нужно обучать сразу с ограничением на веса, как BitNet b1.58. Такие модели есть, но они небольшие: например, BitNet b1.58 2B4T на 2 млрд параметров. Демонстрация на 100B, насколько известно, делалась на модели с нужной архитектурой, а не на обученной модели, которую можно сразу использовать.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…