Opus переписал код llama.cpp: Qwen на одном процессоре генерирует текст на 40% быстрее
Запускать нейросеть без видеокарты можно, но отвечает она медленно. Автор поста на Habr поручил ИИ Opus несколько суток гонять тесты и править код движка llama.cpp. В итоге модель Qwen3.8-Flash-Next Gyro на одном процессоре стала выдавать 2,72 токена в секунду вместо 1,97, то есть примерно на 40% быстрее (токен — это слог или короткое слово). Для живого чата это всё ещё медленно, зато для фоновых задач на сервере без GPU патчи стоит проверить.
AI-обработка оригинала Habr AI; редакция Hamidun News
Почти любой совет по ускорению локальных нейросетей звучит одинаково: купите видеокарту. Либо сожмите и дообучите саму модель. А что делать, если в машине есть только процессор и оперативная память? Автор поста на Habr решил проверить это на практике. Он поручил ИИ Opus доработать код llama.cpp, популярного движка для запуска моделей на своём железе. В результате Qwen3.8-Flash-Next Gyro без видеокарты стала выдавать 2,72 токена в секунду вместо исходных 1,97. Токен здесь — это примерно слог или короткое слово, то есть скорость выросла примерно на 40%. Результат скромный, но у него есть цифры и открытый код.
Что именно сделали
Тестовой моделью стала Qwen3.8-Flash-Next Gyro в формате GGUF. В этом формате модели запускают через llama.cpp. Саму модель автор не менял: ни дообучения, ни сжатия. Вместо этого он взялся за код движка. Основную работу выполнил Opus. Несколько суток он гонял тесты на компьютере автора, искал места, где процессор тратит время впустую, и предлагал правки в код llama.cpp.
В итоге получилось несколько версий патча. В таблице автор сравнивает две из них, fix23 и fix37, с оригинальной сборкой.
Что показали замеры
Измерялись две вещи: скорость чтения промпта (сколько токенов модель «прочитывает» в секунду) и скорость генерации ответа. В таблице в каждой ячейке стоят по два числа. Что именно означает второе, автор не пояснил, поэтому ниже приведены обе пары.
- Оригинал: промпт 4,12 / 3,75 токена/с, генерация 1,97 / 1,92.
- fix23: промпт 10,98 / 10,05, генерация 2,41 / 2,38, ускорение ×1,23.
- fix37: промпт 11,21 / 14,49, генерация 2,72 / 2,73, ускорение ×1,40.
Чтение промпта ускорилось сильнее, чем генерация: по первым числам с 4,12 до 11,21 токена/с, то есть почти втрое. Для процессора это объяснимо. Промпт можно обрабатывать крупными пачками, а генерация ответа идёт по одному токену за раз и упирается в скорость памяти, поэтому там выжать много труднее. Автор также приложил график: чем длиннее контекст, тем медленнее идёт генерация. Патчи эту зависимость не убирают.
Что с этим делать и где ограничения
Скорость в 2,7 токена в секунду для интерактивного чата всё ещё мала. Зато для фоновых задач вроде пакетной обработки текстов, где спешки нет, такой прирост уже заметен. Это замеры на одной машине. Какой именно процессор и сколько памяти стоят у автора, в посте не сказано. Поэтому обещать то же ускорение на другом железе или с другой моделью нельзя. Автор сам спрашивает, получится ли такой же тюнинг для других моделей, и просит читателей прислать свою конфигурацию и прирост после применения патчей.
Патчи лежат в merge request на GitLab в репозитории agentionai-group/llama.cpp. Если вы запускаете локальные модели на сервере без GPU, их можно собрать и сравнить с обычным llama.cpp на своей нагрузке. Кроме того, это пример того, как ИИ-ассистент несколько суток работает над низкоуровневым кодом на реальном железе, а не пишет типовой CRUD.
Есть и неприятная деталь. Учётную запись, под которой автор запускал Opus, заблокировали. Верификация и апелляция не помогли, блокировка окончательная. Теперь он спрашивает сообщество, какая модель и в каком harness (обвязке, которая даёт модели инструменты и позволяет ей работать самостоятельно) способна так же долго трудиться на личном железе, как Claude Code. Вопрос практичный: если проект зависит от одного облачного провайдера, его могут остановить в любой момент.
Мини-опрос под постом показывает, насколько узка эта ниша. Проголосовали три человека: двое запускали LLM на компьютере с дискретной видеокартой, один без неё, специализированными NPU не пользовался никто. Выборка крошечная. Тем не менее она напоминает, что ускорение на обычных процессорах нужно ограниченному кругу энтузиастов. Для них прирост на 40% уже ощутим.
- 21 нояб. 2026 г.MiniMax H3 Image в ComfyUI: три правки убирают «хрустящую» кожу без смены модели
- 21 нояб. 2026 г.llama.cpp 1.0: стабильный интерфейс, 35 удалённых функций и кэш для больших MoE-моделей
- 21 нояб. 2026 г.Gemma 4 на мини-ПК пишет 63 токена в секунду, Qwen3.8 — лишь 12,8: тест 14 LLM
- 21 нояб. 2026 г.Дженсен Хуанг ушёл из NVIDIA после 33 лет, финдиректор Кресс стала временным CEO
Вопросы и ответы по материалу
Что известно по теме: что именно сделали?
Тестовой моделью стала Qwen3.8-Flash-Next Gyro в формате GGUF. В этом формате модели запускают через llama.cpp. Саму модель автор не менял: ни дообучения, ни сжатия. Вместо этого он взялся за код движка. Основную работу выполнил Opus. Несколько суток он гонял тесты на компьютере автора, искал места, где процессор тратит время впустую, и предлагал правки в код llama.cpp. В итоге получилось несколько версий патча. В таблице автор сравнивает две из них, fix23 и fix37, с оригинальной сборкой.
Что известно по теме: что показали замеры?
Измерялись две вещи: скорость чтения промпта (сколько токенов модель «прочитывает» в секунду) и скорость генерации ответа. В таблице в каждой ячейке стоят по два числа. Что именно означает второе, автор не пояснил, поэтому ниже приведены обе пары. Оригинал: промпт 4,12 / 3,75 токена/с, генерация 1,97 / 1,92. fix23: промпт 10,98 / 10,05, генерация 2,41 / 2,38, ускорение ×1,23. fix37: промпт 11,21 / 14,49, генерация 2,72 / 2,73, ускорение ×1,40.
Что известно по теме: что с этим делать и где ограничения?
Скорость в 2,7 токена в секунду для интерактивного чата всё ещё мала. Зато для фоновых задач вроде пакетной обработки текстов, где спешки нет, такой прирост уже заметен. Это замеры на одной машине. Какой именно процессор и сколько памяти стоят у автора, в посте не сказано. Поэтому обещать то же ускорение на другом железе или с другой моделью нельзя. Автор сам спрашивает, получится ли такой же тюнинг для других моделей, и просит читателей прислать свою конфигурацию и прирост после применения патчей.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.