Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
InfraestruturaAnálise · No radarHabr AI→ original

Mini PC roda LLM de 26B com um único controle deslizante: na iGPU, a geração é 21–39% mais rápida

O Ollama travava por falta de memória em um mini PC com 32 GB: o Windows cede à Intel Arc integrada apenas cerca de metade da RAM, 18 GB. O autor elevou o limite do Shared GPU Memory Override para 26 GB, e modelos de 20 a 35 bilhões de parâmetros passaram a caber inteiros. A geração na GPU ficou mais rápida que na CPU: 21% no Gemma 4 e 39% no Tiel-Coder. Além disso, o gasto de energia por 1000 tokens caiu de 28% a 42%. Para quem tem um Core Ultra, é uma alternativa à placa de vídeo dedicada. O autor compara quatro modelos MoE em tarefas de engenharia (OpenSCAD, FreeCAD, Blender e SolidCraft via MCP). A qualidade das peças não depende do dispositivo, e o fator decisivo foi o uso de modelos de código como exemplo no prompt.

Processado por IA de Habr AI; editado por Hamidun News
Mini PC roda LLM de 26B com um único controle deslizante: na iGPU, a geração é 21–39% mais rápida
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Gemma 4 26B na GPU15,8 → 19,1 tokens/s; Tiel-Coder: 12,2 → 16,9
Dado-chave #2Todos os 26 testes consumiram cerca de 0,11 kWh, menos de um rublo
Dado-chave #3Com o modelo de código, o GPT-OSS concluiu a tarefa no SolidCraft em 55 s; os demais levaram de 114 a 154 s

Imagine a situação: você baixou o modelo de linguagem Gemma 4 26B, o arquivo pesa 18 GB, o mini PC tem 32 GB de RAM, e o Ollama mesmo assim falha com erro de falta de memória. O motivo é que a GPU integrada Intel Arc não tem VRAM própria: ela usa uma parte da RAM compartilhada, e o Windows, por padrão, permite que ela use cerca de metade. O Ollama enxergava apenas 18 GB, e modelos que ficavam "no limite" não cabiam.

O autor da análise no Habr encontrou nas configurações da Intel um parâmetro que eleva esse limite para 26 GB. Depois disso, o mini PC GEEKOM GT1 Mega passou a rodar modelos de 20 a 35 bilhões de parâmetros (é isso que significam o "26B" ou o "35B" nos nomes), e a geração de texto na GPU integrada ficou mais rápida que na CPU: 21% no Gemma 4 e 39% no Tiel-Coder. Para quem tem um notebook ou mini PC com Core Ultra, é uma forma de rodar modelos locais grandes sem comprar uma placa de vídeo cara.

Um controle deslizante no lugar de uma placa de vídeo

O hardware do teste é este: processador Intel Core Ultra 9 185H (16 núcleos, até 5,1 GHz), GPU integrada Arc com 8 núcleos Xe e 32 GB de DDR5-5600 em dual channel. O limite de "memória de vídeo virtual" é alterado no Intel Graphics Software: "Configurações — Sistema — Shared GPU Memory Override". O autor definiu 26 GB, ou seja, mais de 80% da memória, e reiniciou o computador.

Para que o Ollama use a GPU integrada, são necessárias as variáveis OLLAMA_VULKAN=1 e OLLAMA_IGPU_ENABLE=1. Após a reinicialização, o Ollama passou a reportar 26,2 GB, e o comando ollama ps mostrou "100% GPU": todas as camadas do modelo ficam na GPU.

O hardware não ficou mais rápido com isso, mas modelos de 17–18 GB agora cabem. O Gemma com janela de contexto de 24 576 tokens ocupa 16–17 GB, e o Tiel-Coder, 17–18 GB. Sobram 5–6 GB para o Windows e os demais programas, e foi suficiente: OpenSCAD, Blender, SolidCraft e o compilador arduino-cli funcionaram em paralelo com o modelo.

O que as medições mostraram

O autor comparou quatro modelos MoE: Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (um ajuste de terceiros para programação, baseado na arquitetura Qwen 3.5 MoE), GPT-OSS 20B e Qwen3-Coder 30B-A3B. Um modelo MoE tem muitos "especialistas", mas só uma pequena fração é ativada a cada token: no Gemma, cerca de 4 bilhões de parâmetros dos 25,2 bilhões. A memória necessária é a de um modelo grande, mas o cálculo se aproxima do de um modelo pequeno.

As tarefas eram de engenharia: uma engrenagem para um Pip-Boy no OpenSCAD e no FreeCAD, uma maçaneta no Blender e uma caixa para a placa ESP32-C3 no SolidCraft via MCP. Em cada tarefa, o modelo recebia uma imagem de referência.

  • Velocidade de geração: Gemma 15,8 → 19,1 tokens/s (+21%), Tiel-Coder 12,2 → 16,9 (+39%).
  • A potência média do pacote do processador cai de 45 para 32–33 W. A energia por 1000 tokens de resposta diminui 28% no Gemma e 42% no Tiel-Coder.
  • No SolidCraft, o ganho de tempo é de apenas 5–7%: o modelo passa a maior parte do tempo lendo um prompt longo, de 30 a 60 mil tokens, com a descrição de 13 ferramentas. Mesmo assim, a GPU economiza cerca de 40% de energia.
  • A qualidade das peças não depende do dispositivo: a variação entre duas repetições da mesma tarefa é maior que a diferença entre CPU e GPU.

Todos os 26 testes consumiram cerca de 0,11 kWh, ou seja, menos de um rublo ao preço de 6,5 ₽ por kWh.

Os modelos de código decidem tudo

Sem modelos de código como exemplo (por exemplo, o código de uma engrenagem de 30 dentes para uma tarefa sobre uma engrenagem de 24 dentes), nenhum modelo resolveu as tarefas, e o autor não incluiu esse modo nos resultados finais. Com o exemplo, os quatro modelos fizeram corretamente as três peças, já na primeira tentativa.

Nesse caso, o que decide é a concisão da resposta, não a "inteligência" do modelo. O GPT-OSS e o Qwen3-Coder respondem de forma mais curta e sem comentários desnecessários, e por isso terminam em metade do tempo do Gemma. No SolidCraft, o GPT-OSS teve o melhor resultado: 55 segundos contra 114–154 dos demais.

O Tiel-Coder gastou 2,4 vezes mais tokens de entrada que o Gemma: a cada nova tentativa, o modelo recebe todo o diálogo anterior, e no SolidCraft ele precisou de 13 turnos onde o Gemma resolveu em cinco. Para tarefas simples com exemplo pronto, os modelos de 8B se mostraram até mais rápidos e econômicos que os grandes: por exemplo, a engrenagem levou 34 segundos no Qwen3 8B contra 65 no Gemma 26B.

O que fazer na prática

Se você tem um Core Ultra com Arc integrada e 32 GB de RAM, eleve o Shared GPU Memory Override para 24–26 GB e ative o Vulkan e a iGPU no Ollama. Inclua no prompt um exemplo de código pronto e não reenvie o diálogo inteiro nas tentativas seguintes.

Há ressalvas. É o teste de um único autor em uma única máquina, e a comparação entre CPU e GPU tem apenas 11 execuções. Ele mediu a energia com os contadores Intel RAPL, só para o pacote do processador; memória, SSD, ventoinha e fonte de alimentação somam mais 20–30%. A velocidade absoluta é modesta, cerca de 15–19 tokens/s, mas em troca se tem um mini PC silencioso e barato no lugar de uma placa de vídeo dedicada.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Um controle deslizante no lugar de uma placa de vídeo?

O hardware do teste é este: processador Intel Core Ultra 9 185H (16 núcleos, até 5,1 GHz), GPU integrada Arc com 8 núcleos Xe e 32 GB de DDR5-5600 em dual channel. O limite de "memória de vídeo virtual" é alterado no Intel Graphics Software: "Configurações — Sistema — Shared GPU Memory Override". O autor definiu 26 GB, ou seja, mais de 80% da memória, e reiniciou o computador. Para que o Ollama use a GPU integrada, são necessárias as variáveis OLLAMA_VULKAN=1 e OLLAMA_IGPU_ENABLE=1.

O que as medições mostraram?

O autor comparou quatro modelos MoE: Gemma 4 26B-A4B, Tiel-Coder 35B-A3B (um ajuste de terceiros para programação, baseado na arquitetura Qwen 3.5 MoE), GPT-OSS 20B e Qwen3-Coder 30B-A3B. Um modelo MoE tem muitos "especialistas", mas só uma pequena fração é ativada a cada token: no Gemma, cerca de 4 bilhões de parâmetros dos 25,2 bilhões. A memória necessária é a de um modelo grande, mas o cálculo se aproxima do de um modelo pequeno.

O que se sabe sobre Os modelos de código decidem tudo?

Sem modelos de código como exemplo (por exemplo, o código de uma engrenagem de 30 dentes para uma tarefa sobre uma engrenagem de 24 dentes), nenhum modelo resolveu as tarefas, e o autor não incluiu esse modo nos resultados finais. Com o exemplo, os quatro modelos fizeram corretamente as três peças, já na primeira tentativa. Nesse caso, o que decide é a concisão da resposta, não a "inteligência" do modelo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Hands-On AI Engineering · Hamidun Academy

Build & Ship Production AI Agents Without Boilerplate Code

Start your free 72-hour trial at Hamidun Academy (academy.hamidun.com) — interactive lessons on Claude Code & Cursor, live Tech Radar, and production agent templates.

Start 72h Free Trial →Vibe-Coding Intensive
O que você acha?
Carregando comentários…