Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураКод / SDK · В работуTG: @cgevent (Метаверсище и ИИще)→ оригинал

llama.cpp вышел в версии 1.0.0: быстрее на NVIDIA, Intel и ARM, закрыты SSRF-дыры

Движок llama.cpp, на котором многие запускают нейросети локально, получил номер 1.0.0 (раньше была 0.9.0, сборка b12359). В релизе есть ускорения для NVIDIA, графики Intel и процессоров ARM, а ещё закрыты SSRF-дыры: через них сервер можно заставить ходить по чужим адресам, например во внутреннюю сеть. Старые примеры и API удалили. Если llama-server открыт в сети, обновляйтесь, а при сборке из исходников сначала проверьте устаревшие вызовы.

AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
llama.cpp вышел в версии 1.0.0: быстрее на NVIDIA, Intel и ARM, закрыты SSRF-дыры
Источник: TG: @cgevent (Метаверсище и ИИще). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @cgevent (Метаверсище и ИИще) ↗
Главный редактор
CUDAядра few-row MMQ ускоряют малые батчи из 2–24 запросов
Vulkanдля графики Intel добавлен FlashAttention на этапе prefill
Ключевой факт #3Сервер отменяет вызовы MCP-инструментов при обрыве или таймауте клиента

Если вы запускали языковую модель на своём ноутбуке, мини-сервере или телефоне, то, скорее всего, под капотом работал llama.cpp или инструмент на его основе. Теперь у проекта и у его базовой библиотеки ggml номер версии 1.0.0 (сборка b12359), хотя раньше была 0.9.0. Сам номер ничего не ускоряет, но вместе с ним вышел большой пакет изменений. Из кода убрали устаревшее, добавили оптимизации под разное железо и закрыли SSRF-уязвимости. SSRF — это атака, при которой сервер заставляют отправлять запросы по адресам, выбранным злоумышленником, например во внутреннюю сеть компании.

Что изменилось в версионировании и коде

llama.cpp (релиз #32190) и ggml вышли в v1.0.0 одновременно. Авторы воспользовались случаем и вычистили из ядер llama и ggml легаси: удалили устаревшие примеры и часть старых API.

Для тех, кто просто скачивает готовые сборки, это почти незаметно. Но если вы собираете проект из исходников, подключаете ggml как библиотеку или опираетесь на примеры, годами лежавшие в репозитории, прочитайте список изменений и прогоните свои сборки до обновления. У ggml-org есть отдельное обсуждение политики релизов. Что именно оно обещает по совместимости, из исходного текста не видно, поэтому за гарантиями идите в первоисточник.

Ускорения под разное железо

Основная часть релиза — низкоуровневые оптимизации:

  • CUDA (NVIDIA). Добавлены ядра few-row MMQ для малых батчей размером от 2 до 24. Это ситуация, когда сервер обрабатывает одновременно всего несколько запросов, а не сотни. Для моделей в формате NVFP4 оптимизировали prefill, то есть первичную обработку промпта: масштабы w_s теперь сливаются в завершающем шаге ядра MMQ.
  • Vulkan. Для графики Intel в бэкенд добавили ядро FlashAttention на этапе prefill. Vulkan часто выбирают там, где нет CUDA, например на встроенной графике ноутбуков.
  • ARM и RISC-V. Для ARM NEON появились тайлы 4x4 simd_gemm для перемножения матриц на процессорах смартфонов и компактных плат. Операция GATED_DELTA_NET теперь маршрутизируется на векторные ядра SpacemiT RVV (RISC-V).
  • Qualcomm Hexagon. Добавили квантование Q5_0 и Q5_1, а также сборку хоста на Windows ARM64.

Цифр прироста скорости в источнике нет, так что обещать «быстрее на столько-то процентов» нельзя. Эффект зависит от модели, квантования и железа. Разумнее прогнать свой типичный запрос на старой и новой сборке и сравнить время до первого токена и общую пропускную способность.

Сервер: MCP и безопасность

Для тех, кто использует llama-server как основу для агентов, самое практичное изменение такое: если клиент оборвал соединение или истёк таймаут, сервер теперь отменяет вызовы MCP-инструментов. Это важно для инструментов с побочными эффектами, например записи файла или запроса во внешний сервис: незавершённая работа не должна тянуться, когда ответа уже никто не ждёт.

Закрыты SSRF-уязвимости в CORS-прокси. Представьте, что прокси на вашем сервере можно попросить открыть адрес вида внутреннего админ-сервиса, недоступного снаружи. Сервер сходит туда сам и вернёт ответ. После исправления такой трюк не должен проходить. Кроме того, ужесточили доступ к инструментам с нелокальных адресов. Если вы выставляли llama-server в общую сеть или в интернет, это серьёзная причина обновиться. Но и после обновления не стоит держать его открытым без аутентификации и обратного прокси.

Отдельно поправили конвертацию модели Qwen3.5 и мультимодальных проекторов для Qwen-VL, HunyuanVL и MiniCPM-V. Если при переводе этих моделей в GGUF у вас были проблемы, стоит попробовать заново.

Что делать на практике

  1. Прочитайте релизные заметки на GitHub и проверьте, не используете ли вы удалённые примеры или API.
  2. Если запускаете llama-server с MCP-инструментами или с доступом не только с localhost, обновитесь в первую очередь из-за исправлений безопасности.
  3. Сравните скорость на своём железе до и после: бенчмарков в источнике нет, а выигрыш может сильно отличаться.

Релиз v1.0.0 — скорее знак зрелости проекта, чем революция. Один из главных инструментов локального ИИ получил чистый старт и заплатки там, где они были нужны.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что изменилось в версионировании и коде?

llama.cpp (релиз #32190) и ggml вышли в v1.0.0 одновременно. Авторы воспользовались случаем и вычистили из ядер llama и ggml легаси: удалили устаревшие примеры и часть старых API. Для тех, кто просто скачивает готовые сборки, это почти незаметно. Но если вы собираете проект из исходников, подключаете ggml как библиотеку или опираетесь на примеры, годами лежавшие в репозитории, прочитайте список изменений и прогоните свои сборки до обновления. У ggml-org есть отдельное обсуждение политики релизов.

Что известно по теме: ускорения под разное железо?

Основная часть релиза — низкоуровневые оптимизации: CUDA (NVIDIA). Добавлены ядра few-row MMQ для малых батчей размером от 2 до 24. Это ситуация, когда сервер обрабатывает одновременно всего несколько запросов, а не сотни. Для моделей в формате NVFP4 оптимизировали prefill, то есть первичную обработку промпта: масштабы w_s теперь сливаются в завершающем шаге ядра MMQ. Vulkan. Для графики Intel в бэкенд добавили ядро FlashAttention на этапе prefill.

Что известно по теме: сервер: MCP и безопасность?

Для тех, кто использует llama-server как основу для агентов, самое практичное изменение такое: если клиент оборвал соединение или истёк таймаут, сервер теперь отменяет вызовы MCP-инструментов. Это важно для инструментов с побочными эффектами, например записи файла или запроса во внешний сервис: незавершённая работа не должна тянуться, когда ответа уже никто не ждёт. Закрыты SSRF-уязвимости в CORS-прокси.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…