Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуX: @NVIDIARTXSpark→ оригинал

Вышел llama.cpp 1.0.0: NVIDIA оптимизировала под свои видеокарты 4-битный формат NVFP4

Движок llama.cpp, который запускает нейросети прямо на вашем компьютере без облака, дорос до версии 1.0.0, и NVIDIA поздравила команду. В релизе есть новые открытые модели и CUDA-оптимизации (код под платформу NVIDIA для видеокарт) для NVFP4 — 4-битного формата, где модель занимает меньше памяти и считается быстрее. Цифр прироста в анонсе нет, поэтому скорость и качество ответов проверяйте на своей карте.

AI-обработка оригинала X: @NVIDIARTXSpark; редакция Hamidun News
Вышел llama.cpp 1.0.0: NVIDIA оптимизировала под свои видеокарты 4-битный формат NVFP4
Источник: X: @NVIDIARTXSpark. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @NVIDIARTXSpark ↗
Главный редактор
Ключевой факт #1NVIDIA заявила, что продолжит работать с командой llama.cpp
NVFP4 — 4-битный формат NVIDIAкаждое число модели занимает 4 бита
Ключевой факт #3Версия 1.0.0 добавляет поддержку новых открытых моделей

Если вы хотите запускать языковую модель у себя на ноутбуке или домашнем сервере, а не платить облаку за каждый запрос, вам, скорее всего, пригодится llama.cpp. Это открытый движок Георгия Герганова, который выполняет уже обученные нейросети на обычном железе. Теперь он вышел в версии 1.0.0, и NVIDIA отметила это отдельным постом. В релизе есть поддержка новых открытых моделей и CUDA-оптимизации для NVFP4. CUDA — это программная платформа NVIDIA, через которую код работает на её видеокартах. NVFP4 — 4-битный формат записи чисел модели: он ужимает её, чтобы она занимала меньше видеопамяти и быстрее считалась.

Что известно о релизе

Фактов в публичном сообщении NVIDIA немного, и лучше назвать их честно. Во-первых, команда llama.cpp выпустила версию 1.0.0. Во-вторых, в релиз вошла поддержка дополнительных открытых моделей. В-третьих, для формата NVFP4 добавлены CUDA-оптимизации инференса, то есть ускорение того, как видеокарта NVIDIA выполняет готовую модель при ответах на запросы.

Бенчмарков, цифр прироста токенов в секунду и списка конкретных моделей в посте нет. Подробности, судя по всему, лежат в заметках к релизу, на которые ведёт ссылка. Поэтому громкие обещания вроде «в два раза быстрее» пока были бы выдумкой: на скорость влияют карта, размер модели, длина контекста и настройки запуска.

Зачем нужен NVFP4

Представьте, что модель — это огромная таблица чисел. Чем точнее записано каждое число, тем больше места оно занимает и тем дольше видеокарте приходится возить его из памяти в вычислительные блоки. Квантизация — это сжатие таблицы: числа записываются грубее, но модель занимает меньше памяти и работает быстрее. NVFP4 — 4-битный формат с плавающей запятой от NVIDIA, рассчитанный на её свежие архитектуры. Каждое число занимает всего четыре бита, поэтому модель с миллиардами параметров может поместиться в видеопамять, куда раньше влезала только модель поменьше.

Для llama.cpp это логичный шаг. Проект исторически силён в запуске сжатых моделей на самом разном железе: от процессоров и Apple Silicon до видеокарт. Оптимизации под CUDA для NVFP4 означают, что владельцы подходящих карт NVIDIA смогут использовать аппаратные возможности формата напрямую, а не через обходные пути. Насколько это ускорит работу и как скажется на качестве ответов, покажут независимые тесты.

Что это значит для разработчиков

Сам номер 1.0.0 — скорее сигнал зрелости, чем технический рубеж. Проект, который годами жил в режиме быстрых и иногда ломающихся обновлений, получает формальную отметку «можно закладывать в продукт». Для команд, которые строят локальные ассистенты, офлайн-инструменты или внутренние сервисы без передачи данных во внешние API, это удобный аргумент при выборе стека.

Практические шаги такие:

  • Прочитайте заметки к релизу и проверьте, есть ли в списке поддержки модели, которые вы используете или собираетесь попробовать.
  • Если у вас карта NVIDIA с поддержкой NVFP4, сравните новую сборку со своей текущей квантизацией по скорости и по качеству ответов на собственных задачах, а не на чужих графиках.
  • Не переходите на новый формат вслепую. Любое 4-битное сжатие чуть меняет поведение модели, и на длинных рассуждениях или коде это может быть заметно.

Ограничения и контекст

Пост опубликован от лица NVIDIA, а не независимой лаборатории: компания заинтересована в том, чтобы популярные открытые инструменты хорошо работали на её видеокартах. Это не делает новость плохой, но заставляет отделять маркетинговую часть от измеримой. Кроме того, выигрыш от NVFP4 зависит от поколения GPU, и на старых картах эффект может быть другим или отсутствовать.

В целом новость показывает тенденцию: локальный ИИ перестаёт быть увлечением энтузиастов. Производитель чипов и главный открытый движок для домашнего инференса работают в одной связке, а значит, поддержка новых моделей и форматов будет появляться в таких инструментах быстрее. Остаётся дождаться реальных замеров и посмотреть, насколько версия 1.0.0 оправдает ожидания.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что известно о релизе?

Фактов в публичном сообщении NVIDIA немного, и лучше назвать их честно. Во-первых, команда llama.cpp выпустила версию 1.0.0. Во-вторых, в релиз вошла поддержка дополнительных открытых моделей. В-третьих, для формата NVFP4 добавлены CUDA-оптимизации инференса, то есть ускорение того, как видеокарта NVIDIA выполняет готовую модель при ответах на запросы. Бенчмарков, цифр прироста токенов в секунду и списка конкретных моделей в посте нет. Подробности, судя по всему, лежат в заметках к релизу, на которые ведёт ссылка.

Что известно по теме: зачем нужен NVFP4?

Представьте, что модель — это огромная таблица чисел. Чем точнее записано каждое число, тем больше места оно занимает и тем дольше видеокарте приходится возить его из памяти в вычислительные блоки. Квантизация — это сжатие таблицы: числа записываются грубее, но модель занимает меньше памяти и работает быстрее. NVFP4 — 4-битный формат с плавающей запятой от NVIDIA, рассчитанный на её свежие архитектуры.

Что известно по теме: что это значит для разработчиков?

Сам номер 1.0.0 — скорее сигнал зрелости, чем технический рубеж. Проект, который годами жил в режиме быстрых и иногда ломающихся обновлений, получает формальную отметку «можно закладывать в продукт». Для команд, которые строят локальные ассистенты, офлайн-инструменты или внутренние сервисы без передачи данных во внешние API, это удобный аргумент при выборе стека. Практические шаги такие: Прочитайте заметки к релизу и проверьте, есть ли в списке поддержки модели, которые вы используете или собираетесь попробовать.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…