Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DX: @EthanLinAI→ original

Modelo gigante MiniMax M3.1 Flash comprimido para 144 GB: 91,5% dos tokens coincidem com o original

Um modelo de 428 bilhões de parâmetros normalmente exige um cluster de placas de vídeo, mas a Unsloth reduziu o MiniMax M3.1 Flash para 2 bits por peso, e o arquivo no formato GGUF tem cerca de 144 GB. O modelo roda com aproximadamente 150 GB de memória RAM comum, como a de uma única estação de trabalho. Em um mesmo texto, a versão comprimida escolhe o mesmo próximo token (um fragmento de palavra) que a completa em 91,5% dos casos. A conclusão é que um agente grande pode, de fato, rodar localmente, mas a qualidade precisa ser verificada nas suas próprias tarefas.

Processado por IA de X: @EthanLinAI; editado por Hamidun News
Modelo gigante MiniMax M3.1 Flash comprimido para 144 GB: 91,5% dos tokens coincidem com o original
Fonte: X: @EthanLinAI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @EthanLinAI ↗
Editor-chefe
Dado-chave #1Em um modelo MoE, apenas 23 bilhões dos 428 bilhões de parâmetros estão ativos por token
A folga é pequenao arquivo de 144 GB frente a cerca de 150 GB de RAM recomendados
Dado-chave #391,5% é a taxa de coincidência de tokens, e não um resultado em benchmarks

Antes, para rodar um modelo com centenas de bilhões de parâmetros, era preciso alugar um servidor com várias placas de vídeo. Agora, o MiniMax M3.1 Flash, um modelo aberto de 428 bilhões de parâmetros, ganhou builds de 2 bits da Unsloth: o arquivo no formato GGUF tem cerca de 144 GB e funciona com aproximadamente 150 GB de memória RAM.

É a memória de uma estação de trabalho muito potente, e não a de um data center. A informação foi publicada por Ethan Lin no X. Ele também trouxe o número de 91,5%: é a fração de vezes em que a versão comprimida escolhe o mesmo próximo token (um fragmento de palavra) que a versão completa, quando ambas recebem o mesmo texto.

A forma mais simples de entender isso é como um arquivo compactado. O modelo original ocupa centenas de gigabytes, e a Unsloth o empacotou para caber na memória de um hardware comum. O custo da compactação são pequenas divergências nas respostas. Vamos analisar o que está por trás de cada número.

O que foi comprimido e por que 150 GB bastam

O MiniMax M3.1 Flash é construído com a arquitetura Mixture of Experts, a "mistura de especialistas". No total, ele tem 428 bilhões de parâmetros, mas em cada token trabalham apenas cerca de 23 bilhões. É como uma biblioteca enorme: todas as prateleiras precisam ser armazenadas, mas, para uma pergunta específica, você abre só as poucas que importam. Por isso, o cálculo por token é muito menor do que em um modelo "denso" do mesmo tamanho. O gargalo aqui é a memória, e não o processamento.

Quem economiza memória é a quantização. Normalmente, os pesos são guardados com 16 bits por número. Se a média cai para 2 bits, o arquivo diminui várias vezes, mas os números ficam menos precisos. A Unsloth é conhecida por escolher quais camadas podem ser comprimidas com mais força e quais devem ser mantidas mais precisas. O resultado foi empacotado em GGUF, formato compreendido por runtimes locais populares, como o llama.cpp.

Como interpretar o número de 91,5%

No post, a métrica aparece como top-1 token agreement. Com o mesmo texto, as duas versões preveem o próximo token, e em 91,5% dos casos a opção mais provável é a mesma. Para uma compressão de 2 bits, é um resultado respeitável, mas a métrica tem limites.

Primeiro, ela não é uma avaliação em tarefas reais, como programação ou uso de ferramentas. Uma divergência de 8,5% dos tokens em um texto comum pode não mudar nada. Já em uma cadeia longa de ações de um agente, esse desvio pode se acumular e levar a outra decisão.

Segundo, o número vem de um tweet, e não de um relatório separado. Não conhecemos a metodologia: não se sabe em quais textos os modelos foram comparados nem qual era o tamanho do contexto. O post também não traz a velocidade de geração em tokens por segundo, que para um agente interativo é tão importante quanto o tamanho do arquivo.

Por que isso importa para desenvolvedores e equipes

A barreira de entrada para grandes modelos abertos está caindo. Se você tem uma máquina com 192 GB de memória ou mais, um modelo de 428B deixa de ser teórico. Isso traz:

  • Privacidade. Código, documentos e dados internos ficam na sua máquina e não vão para uma API na nuvem.
  • Custos previsíveis. Em vez de pagar por token, você compra o hardware uma vez, o que compensa com carga constante.
  • Experimentos. É possível comparar a versão local comprimida com a versão na nuvem e ver exatamente onde a qualidade cai.

Há também limitações. Um arquivo de 144 GB e cerca de 150 GB de RAM recomendados deixam pouco espaço para o sistema operacional e para contextos longos, então contextos maiores exigirão mais memória. Além disso, em um modelo MoE rodando na RAM, a velocidade depende muito da largura de banda da memória. Em uma estação de trabalho comum, a geração será mais lenta do que em um conjunto de GPUs.

O conselho é simples: não leve um agente para produção com base em um único número de um tweet. Reúna de 20 a 50 tarefas reais da sua equipe, execute-as na versão local de 2 bits e no modelo na nuvem, e compare a proporção de resultados bem-sucedidos. Se a diferença for aceitável, a execução local se paga em privacidade e economia. Se não for, teste as builds mais "pesadas", de 3 ou 4 bits, quando estiverem disponíveis: elas costumam ficar mais próximas do original.

O autor do post pergunta o que rodar primeiro. Uma resposta razoável: aquilo em que privacidade e grande volume de requisições são importantes, como um assistente interno de código ou a análise de documentos sigilosos.

História

Perguntas frequentes sobre a notícia

O que foi comprimido e por que 150 GB bastam?

O MiniMax M3.1 Flash é construído com a arquitetura Mixture of Experts, a "mistura de especialistas". No total, ele tem 428 bilhões de parâmetros, mas em cada token trabalham apenas cerca de 23 bilhões. É como uma biblioteca enorme: todas as prateleiras precisam ser armazenadas, mas, para uma pergunta específica, você abre só as poucas que importam. Por isso, o cálculo por token é muito menor do que em um modelo "denso" do mesmo tamanho. O gargalo aqui é a memória, e não o processamento.

Como interpretar o número de 91,5%?

No post, a métrica aparece como top-1 token agreement. Com o mesmo texto, as duas versões preveem o próximo token, e em 91,5% dos casos a opção mais provável é a mesma. Para uma compressão de 2 bits, é um resultado respeitável, mas a métrica tem limites. Primeiro, ela não é uma avaliação em tarefas reais, como programação ou uso de ferramentas. Uma divergência de 8,5% dos tokens em um texto comum pode não mudar nada.

Por que isso importa para desenvolvedores e equipes?

A barreira de entrada para grandes modelos abertos está caindo. Se você tem uma máquina com 192 GB de memória ou mais, um modelo de 428B deixa de ser teórico. Isso traz: Privacidade. Código, documentos e dados internos ficam na sua máquina e não vão para uma API na nuvem. Custos previsíveis. Em vez de pagar por token, você compra o hardware uma vez, o que compensa com carga constante. Experimentos. É possível comparar a versão local comprimida com a versão na nuvem e ver exatamente onde a qualidade cai.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…