Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуLatent Space (swyx)→ оригинал

llama.cpp 1.0: стабильный интерфейс, 35 удалённых функций и кэш для больших MoE-моделей

Движок llama.cpp, на котором приложения запускают нейросети локально, вышел в версии 1.0: авторы объявили стабильным набор функций для встраивания и удалили из него 35 устаревших. Теперь чужие программы не должны ломаться после каждого обновления. Для MoE-моделей, где на каждое слово работает лишь часть «экспертов», а все в видеопамять не влезают, добавили кэш для самых частых. Встраиваете движок — проверьте вызовы удалённых функций.

AI-обработка оригинала Latent Space (swyx); редакция Hamidun News
llama.cpp 1.0: стабильный интерфейс, 35 удалённых функций и кэш для больших MoE-моделей
Источник: Latent Space (swyx). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLatent Space (swyx) ↗
Главный редактор
Ключевой факт #1Hugging Face анонсировала десктопные Llama-приложения на базе llama.cpp
Ключевой факт #2SGLang на своём саммите тоже объявил версию 1.0
Сообщество просит больше мейнтейнеровоткрытых задач и PR очень много

Если вы делаете приложение, которое запускает языковую модель прямо на компьютере пользователя, вы, скорее всего, зависите от llama.cpp. Это открытый движок, который превращает файл с весами модели в работающий чат или помощника без облака.

Раньше любое изменение его внутренних функций могло сломать чужую программу, и разработчикам приходилось срочно её чинить. Теперь llama.cpp и библиотека ggml дошли до версии 1.

0. В релизе авторы объявили стабильным публичный заголовочный файл, то есть список функций, через который приложения подключаются к движку, и удалили из него 35 устаревших функций. Вторая новость для тех, кто запускает большие MoE-модели (mixture of experts, «смесь экспертов»).

В такой модели много отдельных блоков-экспертов, но на каждое слово работает только часть из них. Если все эксперты не помещаются в память видеокарты, их приходится держать в обычной оперативной памяти. Теперь под самых востребованных можно выделить отдельный кэш.

Что значит «1.0» для разработчика

Номер 1.0 в открытом проекте — это обещание стабильности. Допустим, вы встроили llama.cpp в редактор заметок или в корпоративный ассистент. Раньше после обновления движка вы могли обнаружить, что нужная функция переименована или исчезла, и сборка перестала проходить. Теперь заявлена стабильность публичного интерфейса: можно опираться на версию 1.x и не ждать сюрпризов при каждом обновлении.

Цена такой стабильности — чистка. Из публичного заголовка убрали 35 устаревших функций. Если ваш код вызывает хотя бы одну из них, при переходе на 1.0 его придётся поправить. Это разовая работа, но лучше сделать её сейчас, чем под давлением.

По описанию релиза, проект хочет сохранить широкое покрытие платформ и типов моделей и при этом оставаться «надёжным и лёгким» для тех, кто встраивает его в свои продукты. Параллельно Hugging Face анонсировала десктопные приложения Llama на основе llama.cpp. Их задача — снизить порог входа: запустить локальную модель можно за несколько кликов, без консоли и самостоятельной сборки.

Версию 1.0 в те же дни объявили ggml и движок SGLang на недавнем SGLang Summit. Для экосистемы локального и самостоятельного запуска моделей это признак взросления: ключевые инструменты заявляют о стабильности почти одновременно.

Кэш для «горячих» экспертов

Представьте большую MoE-модель как библиотеку с сотнями специалистов. Для каждого слова нужны только несколько из них, но заранее неизвестно, какие именно. Видеокарта вмещает не всех, остальные лежат в оперативной памяти, и каждая подгрузка стоит времени. Логика нового кэша простая, как у любого кэша: те эксперты, к которым обращаются часто, остаются под рукой в быстрой памяти, а редкие подгружаются по необходимости.

Об этой возможности написал автор проекта Георгий Герганов, а пример её работы показал Даниэль Хан Чен. Цифр ускорения в источнике нет, поэтому реальный выигрыш зависит от модели и железа. Проверять его придётся на своих задачах.

Что остаётся под вопросом

Главная тревога сообщества связана не с технологиями, а с людьми. Под анонсом на Reddit, который набрал около 1800 реакций, пользователи отмечают, что у llama.cpp «куча открытых задач и PR» и проекту нужно больше мейнтейнеров. Версия 1.0 повышает ожидания: чем увереннее проект называет себя стабильной основой, тем заметнее будут задержки с разбором багов и приёмом изменений.

Что делать на практике

  • Если вы встраиваете llama.cpp в продукт, проверьте, какие из 35 удалённых функций вы вызываете, и перейдите на актуальный интерфейс.
  • Если запускаете крупные MoE-модели на ограниченной видеопамяти, протестируйте кэш экспертов и сравните скорость на своих задачах.
  • Если делаете продукт для нетехнических пользователей, присмотритесь к десктопным приложениям Hugging Face на базе llama.cpp.

В целом 1.0 — это не набор громких функций, а предсказуемость. Для индустрии локальных моделей она, возможно, важнее очередного рекорда на бенчмарке.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что значит «1.0» для разработчика?

Номер 1.0 в открытом проекте — это обещание стабильности. Допустим, вы встроили llama.cpp в редактор заметок или в корпоративный ассистент. Раньше после обновления движка вы могли обнаружить, что нужная функция переименована или исчезла, и сборка перестала проходить. Теперь заявлена стабильность публичного интерфейса: можно опираться на версию 1.x и не ждать сюрпризов при каждом обновлении. Цена такой стабильности — чистка. Из публичного заголовка убрали 35 устаревших функций.

Что известно по теме: кэш для «горячих» экспертов?

Представьте большую MoE-модель как библиотеку с сотнями специалистов. Для каждого слова нужны только несколько из них, но заранее неизвестно, какие именно. Видеокарта вмещает не всех, остальные лежат в оперативной памяти, и каждая подгрузка стоит времени. Логика нового кэша простая, как у любого кэша: те эксперты, к которым обращаются часто, остаются под рукой в быстрой памяти, а редкие подгружаются по необходимости.

Что известно по теме: что остаётся под вопросом?

Главная тревога сообщества связана не с технологиями, а с людьми. Под анонсом на Reddit, который набрал около 1800 реакций, пользователи отмечают, что у llama.cpp «куча открытых задач и PR» и проекту нужно больше мейнтейнеров. Версия 1.0 повышает ожидания: чем увереннее проект называет себя стабильной основой, тем заметнее будут задержки с разбором багов и приёмом изменений.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…