Мини-ПК за один ползунок запустил LLM на 26B: на iGPU генерация быстрее на 21–39%
Ollama на мини-ПК с 32 ГБ падала по памяти: Windows отдаёт встроенной Intel Arc лишь около половины ОЗУ, 18 ГБ. Автор поднял лимит Shared GPU Memory Override до 26 ГБ, и модели на 20–35 млрд параметров влезли целиком. Генерация на графике быстрее, чем на процессоре, на 21% у Gemma 4 и на 39% у Tiel-Coder, а энергии на 1000 токенов уходит на 28–42% меньше. Для Core Ultra это замена видеокарте.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте: вы скачали языковую модель Gemma 4 26B, файл весит 18 ГБ, на мини-ПК стоит 32 ГБ оперативной памяти, а Ollama всё равно падает с ошибкой нехватки памяти. Причина в том, что у встроенной графики Intel Arc нет своей видеопамяти: она берёт кусок общей ОЗУ, а Windows по умолчанию разрешает ей примерно половину. Ollama видела только 18 ГБ, и модели «впритык» не помещались.
Автор разбора на Habr нашёл в настройках Intel один параметр, который поднимает этот лимит до 26 ГБ. После этого на мини-ПК GEEKOM GT1 Mega заработали модели на 20–35 млрд параметров (это и значит «26B» или «35B» в названиях), а генерация текста на встроенной графике оказалась быстрее, чем на процессоре: на 21% у Gemma 4 и на 39% у Tiel-Coder. Для тех, у кого есть ноутбук или мини-ПК на Core Ultra, это способ запускать крупные локальные модели без покупки дорогой видеокарты.
Один ползунок вместо видеокарты
Железо в тесте такое: процессор Intel Core Ultra 9 185H (16 ядер, до 5,1 ГГц), встроенная графика Arc с 8 ядрами Xe, 32 ГБ двухканальной DDR5-5600. Лимит «виртуальной видеопамяти» меняется в программе Intel Graphics Software: «Настройки — Система — Shared GPU Memory Override». Автор выставил 26 ГБ, то есть больше 80% памяти, и перезагрузил компьютер.
Чтобы Ollama вообще использовала встроенную графику, нужны переменные OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1. После перезагрузки Ollama сообщила о 26,2 ГБ, а команда ollama ps показала «100% GPU»: все слои модели лежат на графике.
Быстрее железо от этого не стало, но модели на 17–18 ГБ теперь помещаются. Gemma с окном контекста 24 576 токенов занимает 16–17 ГБ, Tiel-Coder — 17–18 ГБ. Windows и остальным программам остаётся 5–6 ГБ, и этого хватило: OpenSCAD, Blender, SolidCraft и компилятор arduino-cli работали параллельно с моделью.
Что показали замеры
Автор сравнил четыре MoE-модели: Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (сторонняя доработка для программирования на архитектуре Qwen 3.5 MoE), GPT-OSS 20B и Qwen3-Coder 30B-A3B. В MoE-модели много «экспертов», но на каждый токен включается лишь малая часть: в Gemma примерно 4 млрд параметров из 25,2 млрд. Памяти нужно как большой модели, а считает она почти как маленькая.
Задачи были инженерные: шестерня для Pip-Boy в OpenSCAD и FreeCAD, ручка в Blender, корпус под плату ESP32-C3 в SolidCraft через MCP. К каждой задаче модель получала картинку-референс.
- Скорость генерации: Gemma 15,8 → 19,1 токена/с (+21%), Tiel-Coder 12,2 → 16,9 (+39%).
- Средняя мощность процессорного пакета падает с 45 до 32–33 Вт. Энергия на 1000 токенов ответа снижается на 28% у Gemma и на 42% у Tiel-Coder.
- В SolidCraft выигрыш по времени всего 5–7%: модель в основном читает длинный промпт на 30–60 тысяч токенов с описанием 13 инструментов. Энергии графика экономит и там, около 40%.
- Качество деталей от устройства не зависит: разброс между двумя повторами одного задания больше, чем разница между CPU и GPU.
Все 26 прогонов обошлись примерно в 0,11 кВт·ч, то есть меньше рубля при цене 6,5 ₽ за кВт·ч.
Шаблоны решают всё
Без шаблонов-образцов (например, кода шестерни на 30 зубьев для задачи про шестерню на 24 зуба) ни одна модель не справилась, и автор не стал учитывать этот режим в итогах. С шаблоном все четыре модели сделали все три детали верно и с первой попытки.
Тогда решает не «ум» модели, а то, как коротко она пишет. GPT-OSS и Qwen3-Coder отвечают короче и без лишних комментариев, поэтому заканчивают вдвое быстрее Gemma. В SolidCraft GPT-OSS показала лучший результат: 55 секунд против 114–154 у остальных. Tiel-Coder потратила в 2,4 раза больше входных токенов, чем Gemma: каждая новая попытка отправляет модели весь предыдущий диалог, а в SolidCraft она делала по 13 ходов там, где Gemma обходилась пятью. Для простых задач с готовым шаблоном 8B-модели оказались даже быстрее и экономнее больших: например, шестерня у Qwen3 8B заняла 34 секунды против 65 у Gemma 26B.
Что делать на практике
Если у вас Core Ultra со встроенной Arc и 32 ГБ ОЗУ, поднимите Shared GPU Memory Override до 24–26 ГБ и включите Vulkan и iGPU в Ollama. Дайте модели готовый пример кода в промпте и не пересылайте в повторных попытках весь диалог целиком.
Оговорки есть. Это тест одного автора на одной машине, и в сравнении CPU и GPU всего 11 прогонов. Энергию он мерил счётчиками Intel RAPL только для процессорного пакета; память, SSD, вентилятор и блок питания добавляют ещё 20–30%. Абсолютная скорость скромная — около 15–19 токенов/с, но взамен получается тихий недорогой мини-ПК вместо отдельной видеокарты.
- 18 нояб. 2026 г.sd.cpp вместо Forge Neo: девять моделей на видеокарте 16 ГБ рисуют за 5–68 секунд
- 18 нояб. 2026 г.Mellum от JetBrains запустили локально в IDE: на MacBook M3 Pro получилось 5 баллов из 10
- 18 нояб. 2026 г.Tencent Hy4 flash набрала 2,79 из 4 против 2,81 у Haiku 5.5 и стоит в 18 раз дешевле за задачу
- 18 нояб. 2026 г.ИИ-агент оставил SOC 27 минут на реакцию вместо 53 у junior-атакующего
Вопросы и ответы по материалу
Что известно по теме: один ползунок вместо видеокарты?
Железо в тесте такое: процессор Intel Core Ultra 9 185H (16 ядер, до 5,1 ГГц), встроенная графика Arc с 8 ядрами Xe, 32 ГБ двухканальной DDR5-5600. Лимит «виртуальной видеопамяти» меняется в программе Intel Graphics Software: «Настройки — Система — Shared GPU Memory Override». Автор выставил 26 ГБ, то есть больше 80% памяти, и перезагрузил компьютер. Чтобы Ollama вообще использовала встроенную графику, нужны переменные OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1.
Что известно по теме: что показали замеры?
Автор сравнил четыре MoE-модели: Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (сторонняя доработка для программирования на архитектуре Qwen 3.5 MoE), GPT-OSS 20B и Qwen3-Coder 30B-A3B. В MoE-модели много «экспертов», но на каждый токен включается лишь малая часть: в Gemma примерно 4 млрд параметров из 25,2 млрд. Памяти нужно как большой модели, а считает она почти как маленькая. Задачи были инженерные: шестерня для Pip-Boy в OpenSCAD и FreeCAD, ручка в Blender, корпус под плату ESP32-C3 в SolidCraft через MCP.
Что известно по теме: шаблоны решают всё?
Без шаблонов-образцов (например, кода шестерни на 30 зубьев для задачи про шестерню на 24 зуба) ни одна модель не справилась, и автор не стал учитывать этот режим в итогах. С шаблоном все четыре модели сделали все три детали верно и с первой попытки. Тогда решает не «ум» модели, а то, как коротко она пишет. GPT-OSS и Qwen3-Coder отвечают короче и без лишних комментариев, поэтому заканчивают вдвое быстрее Gemma. В SolidCraft GPT-OSS показала лучший результат: 55 секунд против 114–154 у остальных.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.