Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoArtigo científico · Para P&DHacker News AI→ original

Unsloth atualizou os modelos comprimidos do Qwen3.8-27B: precisão sobe 5–10% com o mesmo tamanho

Para rodar o modelo grande Qwen3.8-27B em casa, os pesos são comprimidos para 2 a 6 bits, e a qualidade cai. A equipe da Unsloth lançou a atualização Dynamic v3.1: nos benchmarks, incluindo Terminal Bench 2.1 e DeepSWE, as versões comprimidas respondem 5–10% com mais precisão e mantêm o mesmo tamanho de arquivo. A versão de 4 bits cabe em 16–19 GB de memória de vídeo, o suficiente para uma RTX 4090 ou um Mac com 24 GB. Se você roda o modelo localmente para código e agentes, vale baixar os pesos novamente.

Processado por IA de Hacker News AI; editado por Hamidun News
Unsloth atualizou os modelos comprimidos do Qwen3.8-27B: precisão sobe 5–10% com o mesmo tamanho
Fonte: Hacker News AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHacker News AI ↗
Editor-chefe
As versões de 3 bits não foram alteradasa antiga UD3 teve resultado no mesmo nível da UD3.1
A Unsloth contestou o teste da ISTAa empresa fez 14 execuções do AIME25, contra uma da concorrente
Dado-chave #3O NVFP4 em placas Blackwell é 1,5 vez mais rápido que o BF16

O Qwen3.8-27B é um modelo da Qwen com 27 bilhões de parâmetros, que escreve código bem, atua como agente no terminal, entende imagens e mantém diálogos. Em precisão total, ele ocupa dezenas de gigabytes e não cabe na memória de uma placa de vídeo comum.

Por isso, ele é comprimido: cada peso é armazenado não em 16 bits, mas em 2 a 6. É como o JPEG para fotos: o arquivo fica menor, mas alguns detalhes se perdem. A Unsloth produz essas versões comprimidas e, na atualização Dynamic v3.

1, afirma que, com o mesmo tamanho de arquivo, a precisão média na maioria dos benchmarks subiu 5–10% em relação às suas versões anteriores. Para quem roda o modelo em casa, isso significa o mesmo consumo de memória e respostas de melhor qualidade.

O que mudou no Dynamic v3.1

A atualização foi lançada em 11 de novembro de 2026. A nova versão do algoritmo de compressão afetou quase todas as variantes de 2 a 6 bits. A exceção são as UD3 de 3 bits: nelas, a UD3.1 quase não trouxe ganho, e a equipe decidiu não alterá-las.

Os testes foram feitos em tarefas de agentes, como Terminal Bench 2.1 e DeepSWE v1.1, além de LiveCodeBench v6, GPQA Diamond, MMLU-Pro e AIME25. Nos testes de agentes, o contexto foi de 256K tokens; nos demais, de 128K. Os parâmetros de geração foram temperature 1.0, top_p 0.95 e top_k 20, mantendo o raciocínio e no nível máximo de reasoning.

Para a prática, o que mais importa são os requisitos de hardware. A versão de 4 bits roda com 16–19 GB de memória de vídeo: servem RTX 5080, RTX 4090 ou um Mac com 24 GB de memória. A regra dos autores é que a soma da memória RAM e da memória de vídeo seja aproximadamente igual ao tamanho da versão escolhida. Se faltar memória, o modelo ainda roda, mas bem mais devagar, porque parte dos dados precisa ser carregada do disco. Também é bom deixar uma margem de 1–2 GB.

A disputa com a ISTA sobre como medir precisão de forma justa

Uma parte separada do material é a polêmica com o método concorrente GSQ-RCO, da ISTA. No comparativo da ISTA, as antigas compressões da Unsloth pareciam piores no LiveCodeBench. A Unsloth obteve o resultado oposto: a UD3 supera a ISTA em todos os tamanhos, exceto no menor. Os autores supõem que a ISTA usou um contexto de cerca de 96K, e não de 128K. Com 96K, o GSQ-RCO realmente fica um pouco à frente; com 128K, a UD3 vence com clareza.

O segundo exemplo é o AIME25. Segundo a ISTA, as versões comprimidas mantiveram 100% da precisão do modelo original em três dos quatro casos, e 96,7% no quarto. A Unsloth considera que houve apenas uma execução. A própria equipe fez 14 execuções e obteve retenção média de precisão de 93–96%, e não 100%. A decodificação gulosa (temperature 0) também não produziu 100% estáveis: os cálculos em GPU não são totalmente determinísticos e, além disso, quase ninguém gera texto dessa forma no uso real.

A lição prática para quem compara modelos é que uma única execução quase não prova nada. Repita o teste várias vezes e no contexto que você vai usar no produto.

Há ainda uma ressalva sobre o Exllama-v3. Essa biblioteca armazena a tabela de tokens no formato BF16. A Unsloth a retirou dos gráficos principais de tamanho, mas reconhece que, no consumo real de disco e memória, o quadro é outro. Ao escolher uma versão, compare o tamanho total dos arquivos.

NVFP4, modos de raciocínio e limitações

Para os donos de placas Blackwell (série RTX 50, DGX Spark, B200, B300), a empresa oferece versões NVFP4. Segundo a Unsloth, elas são 1,5 vez mais rápidas que o BF16 e mantêm 92–97% de coincidência com o original na predição do token de maior probabilidade (top-1). Inicialmente, elas só podiam rodar no vLLM; depois, também passou a funcionar o SGLang na versão 0.5.19. Para placas mais antigas, continuam disponíveis os arquivos GGUF, que funcionam no llama.cpp e no aplicativo Unsloth Desktop.

Por padrão, o modelo raciocina no nível máximo. Para reduzir as cadeias de raciocínio e o consumo de tokens, é possível passar o parâmetro reasoning_effort no llama.cpp, por exemplo com o valor medium. Existe também um modo que mantém os raciocínios anteriores entre as mensagens: consome mais tokens, mas a precisão pode aumentar em diálogos longos.

A principal ressalva é que todos os números são da própria Unsloth, e ainda não há verificação independente. As tabelas completas do original também foram reduzidas a links. Ainda assim, os autores detalharam a metodologia o suficiente para que as medições possam ser repetidas. Se você usa o Qwen3.8-27B localmente para programação ou agentes, faz sentido atualizar os pesos para a v3.1. E valide o seu cenário com várias execuções, não com um único resultado bem-sucedido.

História

Perguntas frequentes sobre a notícia

O que mudou no Dynamic v3.1?

A atualização foi lançada em 11 de novembro de 2026. A nova versão do algoritmo de compressão afetou quase todas as variantes de 2 a 6 bits. A exceção são as UD3 de 3 bits: nelas, a UD3.1 quase não trouxe ganho, e a equipe decidiu não alterá-las. Os testes foram feitos em tarefas de agentes, como Terminal Bench 2.1 e DeepSWE v1.1, além de LiveCodeBench v6, GPQA Diamond, MMLU-Pro e AIME25. Nos testes de agentes, o contexto foi de 256K tokens; nos demais, de 128K.

O que se sabe sobre A disputa com a ISTA sobre como medir precisão de forma justa?

Uma parte separada do material é a polêmica com o método concorrente GSQ-RCO, da ISTA. No comparativo da ISTA, as antigas compressões da Unsloth pareciam piores no LiveCodeBench. A Unsloth obteve o resultado oposto: a UD3 supera a ISTA em todos os tamanhos, exceto no menor. Os autores supõem que a ISTA usou um contexto de cerca de 96K, e não de 128K. Com 96K, o GSQ-RCO realmente fica um pouco à frente; com 128K, a UD3 vence com clareza. O segundo exemplo é o AIME25.

O que se sabe sobre NVFP4, modos de raciocínio e limitações?

Para os donos de placas Blackwell (série RTX 50, DGX Spark, B200, B300), a empresa oferece versões NVFP4. Segundo a Unsloth, elas são 1,5 vez mais rápidas que o BF16 e mantêm 92–97% de coincidência com o original na predição do token de maior probabilidade (top-1). Inicialmente, elas só podiam rodar no vLLM; depois, também passou a funcionar o SGLang na versão 0.5.19. Para placas mais antigas, continuam disponíveis os arquivos GGUF, que funcionam no llama.cpp e no aplicativo Unsloth Desktop.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…