Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

NVIDIA comprime o Kimi K3.1 Pro para 4 bits: pesos de 2,8 trilhões de parâmetros ocupam cerca de 1,4 TB

A NVIDIA publicou no Hugging Face o Kimi K3.1 Pro, da Moonshot AI, no formato NVFP4, que armazena os pesos em 4 bits em vez dos tradicionais 16 bits. O modelo é enorme: são 2,8 trilhões de parâmetros, dos quais 104 bilhões trabalham em cada token. A analogia é a de um pacote a vácuo: o conteúdo continua praticamente o mesmo, mas os pesos passam a ocupar cerca de 1,4 TB em vez de 5,6 TB. Para quem hospeda o modelo por conta própria, isso reduz bastante a exigência de memória, mas a qualidade precisa ser testada nas suas próprias tarefas.

Processado por IA de TG: @cgevent (Метаверсище и ИИще); editado por Hamidun News
NVIDIA comprime o Kimi K3.1 Pro para 4 bits: pesos de 2,8 trilhões de parâmetros ocupam cerca de 1,4 TB
Fonte: TG: @cgevent (Метаверсище и ИИще). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @cgevent (Метаверсище и ИИще) ↗
Editor-chefe
Dado-chave #12,8 trilhões de parâmetros no total, 104 bilhões ativos por token (MoE)
Dado-chave #2Aceita texto e imagens, com contexto de 1.048.576 tokens
Dado-chave #3A quantização foi feita com o NVIDIA Model Optimizer, e não há medições de qualidade

Modelos abertos muito grandes costumam esbarrar em um problema simples: não há onde executá-los. Pesos de vários terabytes não cabem em um servidor comum, e poucas organizações podem bancar um cluster de GPUs para isso. Por isso, a publicação da NVIDIA no Hugging Face merece atenção: a empresa disponibilizou o Kimi K3.1 Pro, da Moonshot AI, no formato NVFP4, um empacotamento de pesos em 4 bits em vez dos 16 bits padrão. Por uma estimativa grosseira, os pesos do modelo de 2,8 trilhões de parâmetros passam a ocupar cerca de 1,4 TB, contra 5,6 TB antes.

O que foi publicado

Segundo o cartão do modelo, o Kimi K3.1 Pro é um modelo multimodal com arquitetura Mixture of Experts (MoE, "mistura de especialistas"). Ele tem 2,8 trilhões de parâmetros no total, mas apenas 104 bilhões são usados no processamento de cada token. Pense em uma biblioteca enorme em que, a cada pergunta, abrem-se só algumas prateleiras relevantes, em vez de folhear todos os livros. O modelo aceita texto e imagens, e o limite de contexto declarado é de 1.048.576 tokens, ou seja, cerca de um milhão.

A versão quantizada foi preparada pela própria NVIDIA com a ferramenta NVIDIA Model Optimizer. De acordo com a descrição, o objetivo do formato é reduzir o volume dos pesos para que o modelo seja mais fácil de implantar no hardware próprio.

O que o NVFP4 representa na prática

Quantização é o ato de armazenar cada número com menos bits. Normalmente, um parâmetro ocupa 16 bits. O NVFP4 é um formato de ponto flutuante de 4 bits da NVIDIA: os valores são agrupados em pequenos blocos, e cada bloco tem seu próprio fator de escala. Isso ajuda a preservar mais precisão mesmo com uma compactação tão densa.

Fazendo as contas de forma aproximada:

  • 16 bits: 2,8 trilhões de parâmetros ocupam cerca de 5,6 TB só com os pesos.
  • 8 bits: cerca de 2,8 TB.
  • 4 bits: algo em torno de 1,4 TB.

Essa é uma estimativa que não considera os fatores de escala nem os dados auxiliares, e o tamanho real dos arquivos será um pouco maior. Ainda assim, a diferença de quase quatro vezes em relação aos 16 bits responde diretamente à pergunta de quantas GPUs é preciso comprar ou alugar. Uma ressalva importante: embora o MoE use menos parâmetros ativos, todos os especialistas precisam estar na memória, caso contrário teriam de ser carregados do disco sob demanda. A economia vem do tamanho de todos os pesos, e não apenas dos 104 bilhões ativos.

O que checar antes de rodar

A publicação original não traz medições de qualidade nem de velocidade, então ainda é cedo para avaliar quanta precisão o modelo perdeu com a compressão. Qualquer quantização é um compromisso, e 4 bits em um modelo desse porte precisam ser validados nas suas próprias tarefas: código, documentos longos, trabalho com imagens.

Restam ainda outras questões práticas:

  • Memória para o contexto. Os pesos são apenas parte do consumo. Se o contexto de um milhão de tokens for usado de fato, será necessária memória adicional para o KV-cache, e a quantização dos pesos não reduz essa parte.
  • Hardware. O NVFP4 foi concebido para GPUs NVIDIA de nova geração. Em placas mais antigas, a economia de memória pode não se traduzir em ganho de velocidade; confira a documentação.
  • Ferramentas de execução. Verifique no cartão do modelo quais motores de inferência suportam essa versão e quais versões são necessárias.
  • Licença. As condições de uso estão no cartão do modelo; para aplicações comerciais, vale lê-las antes da implantação.

Por que isso importa

Para equipes que desenvolvem agentes e querem manter o modelo em infraestrutura própria, seja por exigências de dados ou por custo de API, o lançamento mostra uma tendência: o fabricante de hardware passa a preparar ele mesmo versões compactadas de grandes modelos abertos. Isso reduz a barreira de entrada, mas não elimina o trabalho. Primeiro, rode a versão em seus próprios testes e compare com uma alternativa mais leve; só depois calcule o custo de operação. Se a qualidade atender às suas tarefas, a versão de 4 bits de um modelo desse tamanho pode sair bem mais barata de operar do que a versão completa.

História

Perguntas frequentes sobre a notícia

O que foi publicado?

Segundo o cartão do modelo, o Kimi K3.1 Pro é um modelo multimodal com arquitetura Mixture of Experts (MoE, "mistura de especialistas"). Ele tem 2,8 trilhões de parâmetros no total, mas apenas 104 bilhões são usados no processamento de cada token. Pense em uma biblioteca enorme em que, a cada pergunta, abrem-se só algumas prateleiras relevantes, em vez de folhear todos os livros. O modelo aceita texto e imagens, e o limite de contexto declarado é de 1.048.576 tokens, ou seja, cerca de um milhão.

O que o NVFP4 representa na prática?

Quantização é o ato de armazenar cada número com menos bits. Normalmente, um parâmetro ocupa 16 bits. O NVFP4 é um formato de ponto flutuante de 4 bits da NVIDIA: os valores são agrupados em pequenos blocos, e cada bloco tem seu próprio fator de escala. Isso ajuda a preservar mais precisão mesmo com uma compactação tão densa. Fazendo as contas de forma aproximada: 16 bits: 2,8 trilhões de parâmetros ocupam cerca de 5,6 TB só com os pesos. 8 bits: cerca de 2,8 TB. 4 bits: algo em torno de 1,4 TB.

O que checar antes de rodar?

A publicação original não traz medições de qualidade nem de velocidade, então ainda é cedo para avaliar quanta precisão o modelo perdeu com a compressão. Qualquer quantização é um compromisso, e 4 bits em um modelo desse porte precisam ser validados nas suas próprias tarefas: código, documentos longos, trabalho com imagens. Restam ainda outras questões práticas: Memória para o contexto. Os pesos são apenas parte do consumo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…