Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуHabr AI→ оригинал

Opus переписал код llama.cpp: Qwen на одном процессоре генерирует текст на 40% быстрее

Запускать нейросеть без видеокарты можно, но отвечает она медленно. Автор поста на Habr поручил ИИ Opus несколько суток гонять тесты и править код движка llama.cpp. В итоге модель Qwen3.8-Flash-Next Gyro на одном процессоре стала выдавать 2,72 токена в секунду вместо 1,97, то есть примерно на 40% быстрее (токен — это слог или короткое слово). Для живого чата это всё ещё медленно, зато для фоновых задач на сервере без GPU патчи стоит проверить.

AI-обработка оригинала Habr AI; редакция Hamidun News
Opus переписал код llama.cpp: Qwen на одном процессоре генерирует текст на 40% быстрее
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Чтение промпта ускорилось с 4,12 до 11,21 токена/с (патч fix37)
Ключевой факт #2Патч fix23 дал ×1,23 к генерации, fix37 — ×1,40 к оригиналу
Ключевой факт #3Патчи лежат в merge request на GitLab, автор просит присылать замеры

Почти любой совет по ускорению локальных нейросетей звучит одинаково: купите видеокарту. Либо сожмите и дообучите саму модель. А что делать, если в машине есть только процессор и оперативная память? Автор поста на Habr решил проверить это на практике. Он поручил ИИ Opus доработать код llama.cpp, популярного движка для запуска моделей на своём железе. В результате Qwen3.8-Flash-Next Gyro без видеокарты стала выдавать 2,72 токена в секунду вместо исходных 1,97. Токен здесь — это примерно слог или короткое слово, то есть скорость выросла примерно на 40%. Результат скромный, но у него есть цифры и открытый код.

Что именно сделали

Тестовой моделью стала Qwen3.8-Flash-Next Gyro в формате GGUF. В этом формате модели запускают через llama.cpp. Саму модель автор не менял: ни дообучения, ни сжатия. Вместо этого он взялся за код движка. Основную работу выполнил Opus. Несколько суток он гонял тесты на компьютере автора, искал места, где процессор тратит время впустую, и предлагал правки в код llama.cpp.

В итоге получилось несколько версий патча. В таблице автор сравнивает две из них, fix23 и fix37, с оригинальной сборкой.

Что показали замеры

Измерялись две вещи: скорость чтения промпта (сколько токенов модель «прочитывает» в секунду) и скорость генерации ответа. В таблице в каждой ячейке стоят по два числа. Что именно означает второе, автор не пояснил, поэтому ниже приведены обе пары.

  • Оригинал: промпт 4,12 / 3,75 токена/с, генерация 1,97 / 1,92.
  • fix23: промпт 10,98 / 10,05, генерация 2,41 / 2,38, ускорение ×1,23.
  • fix37: промпт 11,21 / 14,49, генерация 2,72 / 2,73, ускорение ×1,40.

Чтение промпта ускорилось сильнее, чем генерация: по первым числам с 4,12 до 11,21 токена/с, то есть почти втрое. Для процессора это объяснимо. Промпт можно обрабатывать крупными пачками, а генерация ответа идёт по одному токену за раз и упирается в скорость памяти, поэтому там выжать много труднее. Автор также приложил график: чем длиннее контекст, тем медленнее идёт генерация. Патчи эту зависимость не убирают.

Что с этим делать и где ограничения

Скорость в 2,7 токена в секунду для интерактивного чата всё ещё мала. Зато для фоновых задач вроде пакетной обработки текстов, где спешки нет, такой прирост уже заметен. Это замеры на одной машине. Какой именно процессор и сколько памяти стоят у автора, в посте не сказано. Поэтому обещать то же ускорение на другом железе или с другой моделью нельзя. Автор сам спрашивает, получится ли такой же тюнинг для других моделей, и просит читателей прислать свою конфигурацию и прирост после применения патчей.

Патчи лежат в merge request на GitLab в репозитории agentionai-group/llama.cpp. Если вы запускаете локальные модели на сервере без GPU, их можно собрать и сравнить с обычным llama.cpp на своей нагрузке. Кроме того, это пример того, как ИИ-ассистент несколько суток работает над низкоуровневым кодом на реальном железе, а не пишет типовой CRUD.

Есть и неприятная деталь. Учётную запись, под которой автор запускал Opus, заблокировали. Верификация и апелляция не помогли, блокировка окончательная. Теперь он спрашивает сообщество, какая модель и в каком harness (обвязке, которая даёт модели инструменты и позволяет ей работать самостоятельно) способна так же долго трудиться на личном железе, как Claude Code. Вопрос практичный: если проект зависит от одного облачного провайдера, его могут остановить в любой момент.

Мини-опрос под постом показывает, насколько узка эта ниша. Проголосовали три человека: двое запускали LLM на компьютере с дискретной видеокартой, один без неё, специализированными NPU не пользовался никто. Выборка крошечная. Тем не менее она напоминает, что ускорение на обычных процессорах нужно ограниченному кругу энтузиастов. Для них прирост на 40% уже ощутим.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно сделали?

Тестовой моделью стала Qwen3.8-Flash-Next Gyro в формате GGUF. В этом формате модели запускают через llama.cpp. Саму модель автор не менял: ни дообучения, ни сжатия. Вместо этого он взялся за код движка. Основную работу выполнил Opus. Несколько суток он гонял тесты на компьютере автора, искал места, где процессор тратит время впустую, и предлагал правки в код llama.cpp. В итоге получилось несколько версий патча. В таблице автор сравнивает две из них, fix23 и fix37, с оригинальной сборкой.

Что известно по теме: что показали замеры?

Измерялись две вещи: скорость чтения промпта (сколько токенов модель «прочитывает» в секунду) и скорость генерации ответа. В таблице в каждой ячейке стоят по два числа. Что именно означает второе, автор не пояснил, поэтому ниже приведены обе пары. Оригинал: промпт 4,12 / 3,75 токена/с, генерация 1,97 / 1,92. fix23: промпт 10,98 / 10,05, генерация 2,41 / 2,38, ускорение ×1,23. fix37: промпт 11,21 / 14,49, генерация 2,72 / 2,73, ускорение ×1,40.

Что известно по теме: что с этим делать и где ограничения?

Скорость в 2,7 токена в секунду для интерактивного чата всё ещё мала. Зато для фоновых задач вроде пакетной обработки текстов, где спешки нет, такой прирост уже заметен. Это замеры на одной машине. Какой именно процессор и сколько памяти стоят у автора, в посте не сказано. Поэтому обещать то же ускорение на другом железе или с другой моделью нельзя. Автор сам спрашивает, получится ли такой же тюнинг для других моделей, и просит читателей прислать свою конфигурацию и прирост после применения патчей.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…