Microsoft запустила модель на 100 млрд параметров на одном CPU: ответы до 6,17 раза быстрее
Microsoft выложила bitnet.cpp — открытую программу, которая запускает языковые модели на обычном процессоре без видеокарты. Секрет в 1-битных моделях: каждый вес равен только −1, 0 или +1, поэтому тяжёлое умножение заменяется сложением. Ответы идут до 6,17 раза быстрее, а энергии уходит до 82,2% меньше. Для локальных ассистентов без GPU это шанс, но модель должна быть обучена сразу в 1-битном формате.
AI-обработка оригинала X: @simplifyinAI; редакция Hamidun News
Чтобы запустить большую языковую модель у себя, обычно приходится покупать дорогую видеокарту с огромным объёмом памяти. Microsoft показала другой путь: открытый фреймворк bitnet.cpp запускает модели на обычном центральном процессоре (CPU), том самом, что стоит в ноутбуке или сервере. По заявлению компании, так можно запустить даже модель на 100 млрд параметров (100B), то есть с сотней миллиардов внутренних настроек, которые определяют, как она «думает». Скорость инференса, то есть генерации ответа, при этом растёт до 6,17 раза по сравнению с обычными реализациями, а расход электроэнергии процессором падает до 82,2%. Всё это работает только с особыми, 1-битными моделями, и ниже разберём, что это значит.
Как это устроено на пальцах
В обычной нейросети каждый вес — это число с плавающей точкой, которое занимает 16 бит. Чтобы получить ответ, процессор перемножает миллиарды таких чисел. Это тяжело и дорого по энергии.
В моделях семейства BitNet вес может быть только одним из трёх значений: −1, 0 или +1. Формально это около 1,58 бита на вес, поэтому такие модели называют 1-битными. Представьте бухгалтера, которому вместо умножения сложных сумм надо лишь прибавить число, вычесть или пропустить. Работает он быстрее, а бумаги (то есть памяти) уходит гораздо меньше.
bitnet.cpp — это набор оптимизированных ядер под такую арифметику. Отдельные версии есть для x86 (процессоры Intel и AMD) и для ARM (чипы Apple и смартфоны).
Что показывают цифры
По данным Microsoft, на x86-процессорах вывод ускоряется в 2,37–6,17 раза по сравнению с обычными реализациями, а расход энергии снижается на 71,9–82,2%. На ARM выигрыш скромнее: ускорение в 1,37–5,07 раза и экономия энергии 55,4–70%. В посте, который разошёлся в соцсетях, названы только максимумы: «до 6,17 раза» и «до 82,2%». Реальный результат зависит от процессора и размера модели.
Самая громкая цифра — модель на 100 млрд параметров на одном CPU. По описанию проекта, скорость при этом составляет 5–7 токенов в секунду, примерно как скорость чтения человека. Для чата или локального помощника, где никто не гонится за миллисекундами, этого хватает.
Какие есть ограничения
Здесь нужна важная оговорка. 1-битный формат нельзя применить к любой готовой модели вроде Llama или Qwen: если сжимать модель до такой степени после обучения, качество сильно падает. Модель нужно обучать сразу с ограничением на веса, как BitNet b1.58. Такие модели есть, но они небольшие: например, BitNet b1.58 2B4T на 2 млрд параметров.
Демонстрация на 100B, насколько известно, делалась на модели с нужной архитектурой, а не на обученной модели, которую можно сразу использовать. Готовой 1-битной модели такого размера, сопоставимой по качеству с лучшими открытыми LLM, пока нет. Получается, что bitnet.cpp показывает готовность инфраструктуры, а «умные» большие модели под неё ещё предстоит обучить.
Что с этим делать разработчикам
Если вы делаете локальные ассистенты, офлайн-приложения или встроенные ИИ-функции для устройств без GPU, имеет смысл попробовать bitnet.cpp на небольших BitNet-моделях и замерить скорость и качество на своём железе.
Если вы считаете расходы на облачный инференс, стоит следить за этим направлением. Когда крупные лаборатории начнут выпускать 1-битные модели, часть задач можно будет перенести с GPU-кластеров на обычные серверы. Пока же это перспективная технология, а не готовая замена привычным моделям.
- 22 нояб. 2026 г.bitnet.cpp от Microsoft ускоряет LLM на обычном CPU до 6,17 раза и режет энергию на 82%
- 22 нояб. 2026 г.Аналитики посчитали: в 2028 году 87% энергии Anthropic даст газ, 11% — уголь
- 22 нояб. 2026 г.Агент Microsoft вручную написал веса нейросети и дал 100% точности на 13 задачах
- 22 нояб. 2026 г.SEC проверяет бухгалтерию Nvidia: акции упали на 14% за один день
Вопросы и ответы по материалу
Что известно по теме: как это устроено на пальцах?
В обычной нейросети каждый вес — это число с плавающей точкой, которое занимает 16 бит. Чтобы получить ответ, процессор перемножает миллиарды таких чисел. Это тяжело и дорого по энергии. В моделях семейства BitNet вес может быть только одним из трёх значений: −1, 0 или +1. Формально это около 1,58 бита на вес, поэтому такие модели называют 1-битными. Представьте бухгалтера, которому вместо умножения сложных сумм надо лишь прибавить число, вычесть или пропустить.
Что известно по теме: что показывают цифры?
По данным Microsoft, на x86-процессорах вывод ускоряется в 2,37–6,17 раза по сравнению с обычными реализациями, а расход энергии снижается на 71,9–82,2%. На ARM выигрыш скромнее: ускорение в 1,37–5,07 раза и экономия энергии 55,4–70%. В посте, который разошёлся в соцсетях, названы только максимумы: «до 6,17 раза» и «до 82,2%». Реальный результат зависит от процессора и размера модели. Самая громкая цифра — модель на 100 млрд параметров на одном CPU.
Что известно по теме: какие есть ограничения?
Здесь нужна важная оговорка. 1-битный формат нельзя применить к любой готовой модели вроде Llama или Qwen: если сжимать модель до такой степени после обучения, качество сильно падает. Модель нужно обучать сразу с ограничением на веса, как BitNet b1.58. Такие модели есть, но они небольшие: например, BitNet b1.58 2B4T на 2 млрд параметров. Демонстрация на 100B, насколько известно, делалась на модели с нужной архитектурой, а не на обученной модели, которую можно сразу использовать.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.