Entusiasta roda DeepSeek-V4-Flash com 64 GB de RAM e sem GPU: até 15 tokens por segundo

Em geral, a conversa sobre rodar modelos grandes localmente esbarra em uma pergunta: quanta VRAM você tem. Um entusiasta publicou o projeto llama-modchip sob a licença Apache 2.0 e afirma que um PC comum com 64 GB de RAM basta para um modelo de 284 bilhões de parâmetros. Não é preciso placa de vídeo, nem swap. Vamos ver o que exatamente foi feito e se dá para confiar nisso.

O que foi alcançado

O llama-modchip é um conjunto de patches para os kernels do ggml/llama.cpp, ferramentas de quantização e scripts para executar modelos MoE esparsos diretamente na CPU. O modelo-alvo é o DeepSeek-V4-Flash: 284 bilhões de parâmetros no total, dos quais 13 bilhões ativos.

Estes são os números informados pelo autor. O pico de consumo de memória fica em torno de 58 GB com contexto de 256 000 tokens. O prefill, ou seja, a “leitura” do prompt, roda a 44 tokens por segundo. A geração entrega de 9 a 15 tokens por segundo. Os testes foram feitos em um Ryzen 9 9955HX de 16 núcleos. É mais ou menos o ritmo em que ainda dá para ler o texto com conforto conforme ele aparece na tela. Para chat ou tarefas em segundo plano, serve; para trabalho interativo com documentos longos, já pesa: com 44 tokens por segundo no prefill, carregar um contexto grande leva um tempo considerável.

Por que isso é possível

Duas técnicas se combinam aqui.

A primeira vem da própria arquitetura do modelo. O MoE (mixture of experts) funciona como uma grande biblioteca em que, para cada pergunta, só se abrem os livros-especialistas necessários. Tudo fica armazenado, mas só uma pequena parte é calculada. Por isso, em termos de computação, o DeepSeek-V4-Flash se aproxima de modelos de porte médio: a cada token, trabalham apenas 13 bilhões de parâmetros. Essa carga está ao alcance de uma CPU. O gargalo é outro: é preciso manter na memória todos os 284 bilhões de pesos.

A segunda técnica é trabalho do autor. Ele quantiza de forma agressiva os especialistas roteados, até 1,56 bit por peso no esquema IQ1_S, e usa um formato de arquivo próprio. Em conta grosseira, 284 bilhões de pesos a pouco mais de um bit e meio somam pouco mais de 50 GB. Isso cabe em 64 GB e ainda deixa folga para o contexto e o sistema.

O resumo é simples: o MoE resolve o problema de computação, e a quantização resolve o problema de volume de memória. A placa de vídeo, nesse esquema, simplesmente não é necessária.

Onde está o problema

Há várias ressalvas, e convém mantê-las em mente.

Primeiro, a palavra “lossless” no README. Ela significa apenas que os logits coincidem com os de uma build sem patches, usando os mesmos pesos quantizados. Ou seja, os patches dos kernels não quebram nada. Ninguém comparou o resultado com o modelo em precisão total. E, com 1,56 bit por peso, é quase certo que haja perda de qualidade; a dúvida é só o tamanho dela. Para código, raciocínios longos e chamada de ferramentas, até uma degradação pequena pode ser crítica.

Segundo, todos os números foram obtidos pelo próprio autor. Ainda não há replicações independentes, então velocidade e consumo de memória podem ser diferentes em outro hardware.

Terceiro, a compatibilidade. Os arquivos quantizados não abrem no llama.cpp convencional, no Ollama nem no LM Studio. É preciso usar a build do projeto, o que significa conviver com um fork e acompanhar a manutenção dele.

O que fazer com isso

Para desenvolvedores e gestores de produto, a conclusão é pragmática. Ainda não é uma solução pronta para produção, mas uma prova de conceito: um modelo MoE de porte de fronteira cabe em um desktop comum. Se as medições se confirmarem, as equipes ganham uma forma barata de rodar modelos grandes localmente, para protótipos, cenários offline e tarefas em que os dados não podem ir para a nuvem.

O plano prático: esperar por replicações independentes e, se houver uma máquina livre com 64 GB, rodar o modelo nas suas próprias tarefas e comparar com a API ou com modelos menores. É a qualidade nos seus dados que vai decidir se a versão de 1,56 bit merece atenção. Uma velocidade de 9–15 tokens por segundo pode ser aceitável para agentes offline ou processamento em lote, mas não para produtos interativos com dezenas de usuários.

A tendência geral, aliás, é clara. Memória e placas de vídeo estão mais caras, e otimizações de software como esta começam a competir com o hardware. Por ora, é mais uma promessa interessante do que um novo padrão, mas a direção merece acompanhamento.