Concertina dobrou o Qwen3-4B como uma sanfona: 43% menor, com 84% da qualidade original
As camadas do Qwen3-4B não foram descartadas, e sim dobradas em pares, como uma sanfona: cada duas camadas vizinhas deram lugar a um único bloco compartilhado, executado duas vezes. O modelo passou de 4,02 bilhões para 2,27 bilhões de parâmetros (43% menos) e mantém cerca de 84% da qualidade do original. O ajuste fino exigiu 22 bilhões de tokens, e em seis dos oito testes o modelo superou o Qwen3-1.7B, treinado com 36 trilhões. A economia, por enquanto, é só de memória: a velocidade não foi medida.
Processado por IA de Habr AI; editado por Hamidun News
Um modelo de linguagem pequeno costuma surgir de duas maneiras: ou é treinado do zero em um corpus gigantesco, ou é obtido cortando camadas de um modelo grande, na esperança de que ele não fique mais fraco. A primeira opção custa uma fortuna; a segunda prejudica a qualidade. Pesquisadores propuseram um terceiro caminho, chamado Concertina: as camadas do Qwen3-4B não são descartadas, e sim dobradas em pares, como o fole de uma concertina.
O resultado é um modelo que caiu de 4,02 para 2,27 bilhões de parâmetros (43% menos), manteve cerca de 84% da qualidade do Qwen3-4B original (a média de oito testes, dividindo a nota do modelo «comprimido» pela nota do professor) e precisou de apenas 22 bilhões de tokens de destilação. Se um modelo não cabe na memória do notebook, do celular ou de uma placa de vídeo barata, vale entender o resultado em detalhes.
Como dobrar um modelo como uma sanfona
Os autores do artigo «Folding Language Models into Themselves» partiram do Qwen3-4B. Cada par de camadas vizinhas foi substituído por um único bloco compartilhado, executado duas vezes seguidas. As matrizes compartilhadas vêm da primeira camada do par, e a profundidade da rede não muda: continuam 36 camadas, ou seja, 18 blocos únicos com duas passagens cada.
Imagine que dois colegas de trabalho vizinhos fazem quase a mesma função. Em vez de manter os dois, você contrata um só e pede que ele execute a tarefa duas vezes, na segunda com um pequeno ajuste. Os autores calculam esse ajuste a partir da diferença entre as camadas originais: usam uma aproximação comprimida dela, de posto 64 (SVD truncado), e um gate específico para cada token decide em que medida aplicá-la. As normalizações RMSNorm de cada passagem continuam sendo próprias.
Depois da montagem, o modelo «aluno» resultante é destilado a partir do próprio Qwen3-4B, ou seja, aprende a repetir as respostas do modelo original. Esse processo consumiu 22 bilhões de tokens.
O que mostraram os testes
Foram comparados o professor Qwen3-4B, o Qwen3-1.7B (treinado com 36 trilhões de tokens, cerca de 1 600 vezes mais dados) e o Concertina-2,27B.
O Concertina supera o Qwen3-1.7B em seis dos oito indicadores: a média de sete testes básicos, o base-7 (58,0% contra 56,2%), o MMLU-Pro (30,1% contra 29,7%), o GPQA, com perguntas de nível de pós-graduação (30,8% contra 29,3%), o BBH, de lógica complexa (40,0% contra 36,3%), o GSM8K, de matemática escolar (78,8% contra 71,0%), e o MATH (49,8% contra 46,0%). No MMLU (55,6% contra 55,7%) e no MMLU-Redux (58,7% contra 59,1%), fica atrás por uma margem mínima. Já o professor Qwen3-4B não é alcançado em nenhum teste: ele marca, por exemplo, 63,0% no base-7 e 87,9% no GSM8K.
A fração média da qualidade do professor, pelo cálculo feito a partir da tabela, é de 84%, como afirmam os autores. As tarefas de raciocínio são as que melhor se mantêm: cerca de 90% no base-7 e no GSM8K. Conhecimento e perguntas difíceis perdem mais: MMLU-Pro e BBH ficam entre 75% e 80% do professor.
O que se economiza e o que não
Os pesos do modelo em bf16 caem de 8,0 para 4,5 GB. Para dispositivos em que o gargalo é a memória para os pesos, o ganho é imediato: um modelo que antes não cabia agora cabe.
O resto é mais complicado. A profundidade efetiva continua sendo de 36 camadas, por isso o KV-cache é o mesmo do Qwen3-4B. O custo de computação por token provavelmente também é parecido, já que cada bloco compartilhado é executado duas vezes. O model card não traz medições de velocidade nem de throughput, então, para inferência em servidor, onde velocidade e cache são decisivos, ainda não há como confirmar a utilidade.
Há ressalvas também sobre o próprio lançamento. O repositório tem dois commits e um único checkpoint: não há outros tamanhos de grupo de camadas nem outros postos para o ajuste. O método foi demonstrado em um só modelo, e ainda não se sabe como ele se aplicaria a outras famílias. O código é curto: as funções fold_model e distill_loss e um autoteste em CPU. Os pesos estão no Hugging Face, sob licença Apache 2.0, como os do Qwen3-4B original.
O que fazer com isso
Se você roda modelos em dispositivos de borda ou precisa economizar VRAM, vale baixar o checkpoint e testá-lo nas suas tarefas, sobretudo naquelas que exigem raciocínio e matemática, e não conhecimento enciclopédico. O principal a medir por conta própria são os tokens/sec reais na sua GPU, em comparação com o Qwen3-4B convencional. Se a velocidade não aumentar, o Concertina continuará sendo um jeito de deixar o modelo mais compacto em memória, mas não mais rápido. Ainda assim, a ideia é reveladora: 22 bilhões de tokens de destilação contra 36 trilhões de tokens de treinamento completo indicam que comprimir um modelo já treinado pode custar bem menos do que criar um pequeno do zero.
- 2 de mai. de 2026Rodando grandes redes neurais localmente: memória comprimida 14 vezes
- 8 de nov. de 2026REAP20 acelerou um Qwen local em 42% sem perda de precisão no DS1000
- 12 de nov. de 2026Nous Research refina o Qwen3.8-27B: propaganda nas respostas cai para 0,9% contra 22%
- 27 de out. de 2026O texto em nepalês "pesava" três vezes mais que o inglês — o conserto do tokenizador não resolveu o problema por completo
Perguntas frequentes sobre a notícia
Como dobrar um modelo como uma sanfona?
Os autores do artigo «Folding Language Models into Themselves» partiram do Qwen3-4B. Cada par de camadas vizinhas foi substituído por um único bloco compartilhado, executado duas vezes seguidas. As matrizes compartilhadas vêm da primeira camada do par, e a profundidade da rede não muda: continuam 36 camadas, ou seja, 18 blocos únicos com duas passagens cada. Imagine que dois colegas de trabalho vizinhos fazem quase a mesma função.
O que mostraram os testes?
Foram comparados o professor Qwen3-4B, o Qwen3-1.7B (treinado com 36 trilhões de tokens, cerca de 1 600 vezes mais dados) e o Concertina-2,27B. O Concertina supera o Qwen3-1.7B em seis dos oito indicadores: a média de sete testes básicos, o base-7 (58,0% contra 56,2%), o MMLU-Pro (30,1% contra 29,7%), o GPQA, com perguntas de nível de pós-graduação (30,8% contra 29,3%), o BBH, de lógica complexa (40,0% contra 36,3%), o GSM8K, de matemática escolar (78,8% contra 71,0%), e o MATH (49,8% contra 46,0%).
O que se economiza e o que não?
Os pesos do modelo em bf16 caem de 8,0 para 4,5 GB. Para dispositivos em que o gargalo é a memória para os pesos, o ganho é imediato: um modelo que antes não cabia agora cabe. O resto é mais complicado. A profundidade efetiva continua sendo de 36 camadas, por isso o KV-cache é o mesmo do Qwen3-4B. O custo de computação por token provavelmente também é parecido, já que cada bloco compartilhado é executado duas vezes.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.