Engenheiro roda modelo de 125 bilhões de parâmetros em PC doméstico e alcança 22–25 tokens por segundo
Bancos e estatais não permitem que código e tarefas sejam enviados a serviços de IA na nuvem, então o autor instalou sob a mesa um modelo de 125 bilhões de parâmetros: placa de vídeo de 16 GB e 128 GB de memória comum. Trata-se de um MoE: para cada token (pedaço de palavra), apenas cerca de 6 bilhões de parâmetros são ativados. O motor Strata entrega 22–25 tokens por segundo, e a versão comprimida coincide com a referência de 8 bits em 93,1% dos casos. Para tarefas agentes em massa com dados fechados, o ambiente local já funciona.
Processado por IA de Habr AI; editado por Hamidun News
Imagine: seus agentes de IA escrevem código, analisam incidentes a partir de logs e mantêm o backlog, enquanto o departamento de segurança do cliente pergunta para onde vão as descrições de tarefas, trechos de código e dados. Se a resposta for "para servidores de terceiros na nuvem", a conversa costuma terminar ali. O autor da análise trabalha com estatais, bancos e holdings industriais e resolveu o problema de forma radical: instalou sob a mesa de trabalho um modelo de 125 bilhões de parâmetros (é assim que se mede o tamanho de uma rede neural; o "125B" do título significa exatamente isso).
Ele roda numa placa de vídeo com 16 GB de memória e entrega 22–25 tokens por segundo. Um token é um pedaço de palavra, então o número indica a velocidade com que o modelo "digita" a resposta. Nenhum byte de dados sai do perímetro da empresa.
Por que a nuvem e a mascaração não resolvem a questão
Ao trabalhar com APIs na nuvem, os agentes enviam mais do que parece: nomes de projetos, contrapartes, valores, URLs de sistemas internos, esquemas de bancos de dados e, às vezes, chaves de acesso. Some a isso os metadados: quem perguntou, quando e com que frequência. Há ainda as exigências da Lei 152-FZ, as políticas de retenção de requisições, que podem mudar com um único anúncio, os limites de subagentes paralelos e a conta: um único agente investigador pode consumir milhões de tokens de entrada em uma noite.
A mascaração (substituição de nomes, CNPJ/INN e valores por marcadores) ajuda, mas resolve o problema só em parte. O contrato e o cliente podem ser deduzidos pela estrutura do JSON e pelos identificadores das tarefas. Se o setor for trocado por ORG_1 e o produto por PRODUCT_2, o modelo perde o sentido do setor e começa a se confundir. Código e configurações não podem ser limpos com expressões regulares, os metadados permanecem, e o pipeline de mascaração precisa ser mantido. A conclusão do autor: tarefas com código e dados internos devem ser resolvidas somente em ambiente local.
Como um modelo de 125B cabe em 16 GB de memória de vídeo
O autor testou modelos da classe 30–35B: para contexto longo, formato de resposta rigoroso e chamadas de ferramentas, eles não bastaram. Já um modelo "denso" de 125B em hardware doméstico daria apenas algumas unidades de token por minuto, pois cada token exigiria percorrer todos os 65 GB de pesos, mesmo em 4 bits. O que salvou a situação foi a arquitetura MoE, "mistura de especialistas": para cada token, apenas cerca de 6 bilhões de parâmetros são ativados, e os demais especialistas ficam na memória RAM e são carregados conforme a necessidade.
Outros cerca de 51 bilhões de parâmetros estão em tabelas de n-gramas, lidas da RAM linha a linha. Na memória de vídeo permanecem a camada de atenção, as camadas compartilhadas e os especialistas "quentes".
O hardware é comum: uma RTX 5060 Ti de 16 GB, um Xeon E5-2640 v3 antigo de 8 núcleos e 128 GiB de DDR4. O principal gargalo é a velocidade da memória: cerca de 25 GB/s em leituras aleatórias de especialistas. O início foi fraco: no LM Studio, por volta de 3 tokens por segundo; após ajuste manual do llama.
cpp, chegou a 9,2. O motor Strata (licença MIT), escrito especificamente para essa arquitetura, após calibração para o hardware, atingiu cerca de 437 tokens/s no processamento do prompt e 25–28 tokens/s na geração com a quantização IQ3_S. Isso é aproximadamente três vezes melhor que o melhor resultado do llama.
cpp. Os 22–25 tokens/s finais foram obtidos com uma quantização mais precisa e contexto nativo de 262 144 tokens.
O que trouxe ganho e o que não trouxe
- Versão do motor. A atualização do Strata, junto com o decodificador especulativo (que "adivinha" alguns tokens à frente), trouxe +79% na velocidade de geração. Após cada atualização, o autor recomenda recalibrar os parâmetros.
- Quantização. A escolha não define a qualidade, e sim a distribuição da memória de vídeo. A variante principal coincide com a referência de 8 bits em 93,1% dos casos.
- Pagefile no Windows. O limitador não foi a memória física, mas o commit limit (RAM mais arquivo de paginação). Após aumentar o pagefile, a geração subiu de 15,1 para 22,3 tokens/s (+48%).
- Contexto e slots. Contexto longo quase não custa nada, mas slots paralelos são caros: o segundo slot consome a memória de vídeo que serviria ao cache de especialistas e reduz a velocidade por requisição pela metade, aproximadamente.
Limitações e conclusão prática
Trata-se de experiência pessoal em um hardware específico, e não de um benchmark independente. Os números dependem da velocidade da memória, da versão do motor e do tamanho do prompt, por isso o autor compara configurações somente com prompts idênticos de cerca de 10 mil tokens. Executar vários agentes simultaneamente nessa estação é limitado.
O resultado prático para as equipes: se você lida com dados sensíveis ou tem requisitos rigorosos de segurança da informação, não comece pela mascaração; avalie um ambiente local com um modelo MoE. Reserve tempo para calibração e não economize na quantidade de memória RAM. O resultado também depende da preparação: skills com processos bem definidos, bases de fatos montadas antecipadamente e resultados verificáveis (testes, gates, e2e) importam mais que a velocidade de geração.
O ambiente local serve ainda como canal de contingência caso assinaturas ou a internet falhem. A previsão do autor: nos próximos um a dois anos, um modelo híbrido, em que a nuvem cuida do design e das decisões complexas e o modelo local assume as ondas de tarefas em massa e tudo o que é sensível, deve se tornar padrão para equipes de desenvolvimento.
- 21 de nov. de 2026Memória flash para SSD ficou 19–32% mais barata em negociações pontuais — drives podem cair de preço
- 21 de nov. de 2026Unsloth atualizou os modelos comprimidos do Qwen3.8-27B: precisão sobe 5–10% com o mesmo tamanho
- 21 de nov. de 2026IA escreve código vulnerável em 44% dos testes: Positive Technologies dá um scanner aos agentes
- 21 de nov. de 2026Sber lança coluna com GigaChat por 14.990 rublos: a voz entende sem internet
Perguntas frequentes sobre a notícia
Por que a nuvem e a mascaração não resolvem a questão?
Ao trabalhar com APIs na nuvem, os agentes enviam mais do que parece: nomes de projetos, contrapartes, valores, URLs de sistemas internos, esquemas de bancos de dados e, às vezes, chaves de acesso. Some a isso os metadados: quem perguntou, quando e com que frequência. Há ainda as exigências da Lei 152-FZ, as políticas de retenção de requisições, que podem mudar com um único anúncio, os limites de subagentes paralelos e a conta: um único agente investigador pode consumir milhões de tokens de entrada em uma noite.
Como um modelo de 125B cabe em 16 GB de memória de vídeo?
O autor testou modelos da classe 30–35B: para contexto longo, formato de resposta rigoroso e chamadas de ferramentas, eles não bastaram. Já um modelo "denso" de 125B em hardware doméstico daria apenas algumas unidades de token por minuto, pois cada token exigiria percorrer todos os 65 GB de pesos, mesmo em 4 bits.
O que trouxe ganho e o que não trouxe?
Versão do motor. A atualização do Strata, junto com o decodificador especulativo (que "adivinha" alguns tokens à frente), trouxe +79% na velocidade de geração. Após cada atualização, o autor recomenda recalibrar os parâmetros. Quantização. A escolha não define a qualidade, e sim a distribuição da memória de vídeo. A variante principal coincide com a referência de 8 bits em 93,1% dos casos. Pagefile no Windows. O limitador não foi a memória física, mas o commit limit (RAM mais arquivo de paginação).
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.