Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
ИнфраструктураРазбор · На радарHabr AI→ оригинал

Мини-ПК за один ползунок запустил LLM на 26B: на iGPU генерация быстрее на 21–39%

Ollama на мини-ПК с 32 ГБ падала по памяти: Windows отдаёт встроенной Intel Arc лишь около половины ОЗУ, 18 ГБ. Автор поднял лимит Shared GPU Memory Override до 26 ГБ, и модели на 20–35 млрд параметров влезли целиком. Генерация на графике быстрее, чем на процессоре, на 21% у Gemma 4 и на 39% у Tiel-Coder, а энергии на 1000 токенов уходит на 28–42% меньше. Для Core Ultra это замена видеокарте.

AI-обработка оригинала Habr AI; редакция Hamidun News
Мини-ПК за один ползунок запустил LLM на 26B: на iGPU генерация быстрее на 21–39%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Gemma 4 26B на графике15,8 → 19,1 токена/с; Tiel-Coder: 12,2 → 16,9
Ключевой факт #2Все 26 прогонов обошлись примерно в 0,11 кВт·ч — меньше рубля
Ключевой факт #3С шаблоном GPT-OSS в SolidCraft справилась за 55 с, остальные — за 114–154 с

Представьте: вы скачали языковую модель Gemma 4 26B, файл весит 18 ГБ, на мини-ПК стоит 32 ГБ оперативной памяти, а Ollama всё равно падает с ошибкой нехватки памяти. Причина в том, что у встроенной графики Intel Arc нет своей видеопамяти: она берёт кусок общей ОЗУ, а Windows по умолчанию разрешает ей примерно половину. Ollama видела только 18 ГБ, и модели «впритык» не помещались.

Автор разбора на Habr нашёл в настройках Intel один параметр, который поднимает этот лимит до 26 ГБ. После этого на мини-ПК GEEKOM GT1 Mega заработали модели на 20–35 млрд параметров (это и значит «26B» или «35B» в названиях), а генерация текста на встроенной графике оказалась быстрее, чем на процессоре: на 21% у Gemma 4 и на 39% у Tiel-Coder. Для тех, у кого есть ноутбук или мини-ПК на Core Ultra, это способ запускать крупные локальные модели без покупки дорогой видеокарты.

Один ползунок вместо видеокарты

Железо в тесте такое: процессор Intel Core Ultra 9 185H (16 ядер, до 5,1 ГГц), встроенная графика Arc с 8 ядрами Xe, 32 ГБ двухканальной DDR5-5600. Лимит «виртуальной видеопамяти» меняется в программе Intel Graphics Software: «Настройки — Система — Shared GPU Memory Override». Автор выставил 26 ГБ, то есть больше 80% памяти, и перезагрузил компьютер.

Чтобы Ollama вообще использовала встроенную графику, нужны переменные OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1. После перезагрузки Ollama сообщила о 26,2 ГБ, а команда ollama ps показала «100% GPU»: все слои модели лежат на графике.

Быстрее железо от этого не стало, но модели на 17–18 ГБ теперь помещаются. Gemma с окном контекста 24 576 токенов занимает 16–17 ГБ, Tiel-Coder — 17–18 ГБ. Windows и остальным программам остаётся 5–6 ГБ, и этого хватило: OpenSCAD, Blender, SolidCraft и компилятор arduino-cli работали параллельно с моделью.

Что показали замеры

Автор сравнил четыре MoE-модели: Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (сторонняя доработка для программирования на архитектуре Qwen 3.5 MoE), GPT-OSS 20B и Qwen3-Coder 30B-A3B. В MoE-модели много «экспертов», но на каждый токен включается лишь малая часть: в Gemma примерно 4 млрд параметров из 25,2 млрд. Памяти нужно как большой модели, а считает она почти как маленькая.

Задачи были инженерные: шестерня для Pip-Boy в OpenSCAD и FreeCAD, ручка в Blender, корпус под плату ESP32-C3 в SolidCraft через MCP. К каждой задаче модель получала картинку-референс.

  • Скорость генерации: Gemma 15,8 → 19,1 токена/с (+21%), Tiel-Coder 12,2 → 16,9 (+39%).
  • Средняя мощность процессорного пакета падает с 45 до 32–33 Вт. Энергия на 1000 токенов ответа снижается на 28% у Gemma и на 42% у Tiel-Coder.
  • В SolidCraft выигрыш по времени всего 5–7%: модель в основном читает длинный промпт на 30–60 тысяч токенов с описанием 13 инструментов. Энергии графика экономит и там, около 40%.
  • Качество деталей от устройства не зависит: разброс между двумя повторами одного задания больше, чем разница между CPU и GPU.

Все 26 прогонов обошлись примерно в 0,11 кВт·ч, то есть меньше рубля при цене 6,5 ₽ за кВт·ч.

Шаблоны решают всё

Без шаблонов-образцов (например, кода шестерни на 30 зубьев для задачи про шестерню на 24 зуба) ни одна модель не справилась, и автор не стал учитывать этот режим в итогах. С шаблоном все четыре модели сделали все три детали верно и с первой попытки.

Тогда решает не «ум» модели, а то, как коротко она пишет. GPT-OSS и Qwen3-Coder отвечают короче и без лишних комментариев, поэтому заканчивают вдвое быстрее Gemma. В SolidCraft GPT-OSS показала лучший результат: 55 секунд против 114–154 у остальных. Tiel-Coder потратила в 2,4 раза больше входных токенов, чем Gemma: каждая новая попытка отправляет модели весь предыдущий диалог, а в SolidCraft она делала по 13 ходов там, где Gemma обходилась пятью. Для простых задач с готовым шаблоном 8B-модели оказались даже быстрее и экономнее больших: например, шестерня у Qwen3 8B заняла 34 секунды против 65 у Gemma 26B.

Что делать на практике

Если у вас Core Ultra со встроенной Arc и 32 ГБ ОЗУ, поднимите Shared GPU Memory Override до 24–26 ГБ и включите Vulkan и iGPU в Ollama. Дайте модели готовый пример кода в промпте и не пересылайте в повторных попытках весь диалог целиком.

Оговорки есть. Это тест одного автора на одной машине, и в сравнении CPU и GPU всего 11 прогонов. Энергию он мерил счётчиками Intel RAPL только для процессорного пакета; память, SSD, вентилятор и блок питания добавляют ещё 20–30%. Абсолютная скорость скромная — около 15–19 токенов/с, но взамен получается тихий недорогой мини-ПК вместо отдельной видеокарты.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: один ползунок вместо видеокарты?

Железо в тесте такое: процессор Intel Core Ultra 9 185H (16 ядер, до 5,1 ГГц), встроенная графика Arc с 8 ядрами Xe, 32 ГБ двухканальной DDR5-5600. Лимит «виртуальной видеопамяти» меняется в программе Intel Graphics Software: «Настройки — Система — Shared GPU Memory Override». Автор выставил 26 ГБ, то есть больше 80% памяти, и перезагрузил компьютер. Чтобы Ollama вообще использовала встроенную графику, нужны переменные OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1.

Что известно по теме: что показали замеры?

Автор сравнил четыре MoE-модели: Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (сторонняя доработка для программирования на архитектуре Qwen 3.5 MoE), GPT-OSS 20B и Qwen3-Coder 30B-A3B. В MoE-модели много «экспертов», но на каждый токен включается лишь малая часть: в Gemma примерно 4 млрд параметров из 25,2 млрд. Памяти нужно как большой модели, а считает она почти как маленькая. Задачи были инженерные: шестерня для Pip-Boy в OpenSCAD и FreeCAD, ручка в Blender, корпус под плату ESP32-C3 в SolidCraft через MCP.

Что известно по теме: шаблоны решают всё?

Без шаблонов-образцов (например, кода шестерни на 30 зубьев для задачи про шестерню на 24 зуба) ни одна модель не справилась, и автор не стал учитывать этот режим в итогах. С шаблоном все четыре модели сделали все три детали верно и с первой попытки. Тогда решает не «ум» модели, а то, как коротко она пишет. GPT-OSS и Qwen3-Coder отвечают короче и без лишних комментариев, поэтому заканчивают вдвое быстрее Gemma. В SolidCraft GPT-OSS показала лучший результат: 55 секунд против 114–154 у остальных.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…