Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Concertina dobrou o Qwen3-4B como uma sanfona: 43% menor, com 84% da qualidade original

As camadas do Qwen3-4B não foram descartadas, e sim dobradas em pares, como uma sanfona: cada duas camadas vizinhas deram lugar a um único bloco compartilhado, executado duas vezes. O modelo passou de 4,02 bilhões para 2,27 bilhões de parâmetros (43% menos) e mantém cerca de 84% da qualidade do original. O ajuste fino exigiu 22 bilhões de tokens, e em seis dos oito testes o modelo superou o Qwen3-1.7B, treinado com 36 trilhões. A economia, por enquanto, é só de memória: a velocidade não foi medida.

Processado por IA de Habr AI; editado por Hamidun News
Concertina dobrou o Qwen3-4B como uma sanfona: 43% menor, com 84% da qualidade original
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1Os pesos em bf16 caíram de 8,0 para 4,5 GB, e o KV-cache continua igual ao do Qwen3-4B
O raciocínio é o que melhor se mantémcerca de 90% da qualidade do professor no GSM8K
Dado-chave #3Os pesos estão abertos no Hugging Face, sob licença Apache 2.0

Um modelo de linguagem pequeno costuma surgir de duas maneiras: ou é treinado do zero em um corpus gigantesco, ou é obtido cortando camadas de um modelo grande, na esperança de que ele não fique mais fraco. A primeira opção custa uma fortuna; a segunda prejudica a qualidade. Pesquisadores propuseram um terceiro caminho, chamado Concertina: as camadas do Qwen3-4B não são descartadas, e sim dobradas em pares, como o fole de uma concertina.

O resultado é um modelo que caiu de 4,02 para 2,27 bilhões de parâmetros (43% menos), manteve cerca de 84% da qualidade do Qwen3-4B original (a média de oito testes, dividindo a nota do modelo «comprimido» pela nota do professor) e precisou de apenas 22 bilhões de tokens de destilação. Se um modelo não cabe na memória do notebook, do celular ou de uma placa de vídeo barata, vale entender o resultado em detalhes.

Como dobrar um modelo como uma sanfona

Os autores do artigo «Folding Language Models into Themselves» partiram do Qwen3-4B. Cada par de camadas vizinhas foi substituído por um único bloco compartilhado, executado duas vezes seguidas. As matrizes compartilhadas vêm da primeira camada do par, e a profundidade da rede não muda: continuam 36 camadas, ou seja, 18 blocos únicos com duas passagens cada.

Imagine que dois colegas de trabalho vizinhos fazem quase a mesma função. Em vez de manter os dois, você contrata um só e pede que ele execute a tarefa duas vezes, na segunda com um pequeno ajuste. Os autores calculam esse ajuste a partir da diferença entre as camadas originais: usam uma aproximação comprimida dela, de posto 64 (SVD truncado), e um gate específico para cada token decide em que medida aplicá-la. As normalizações RMSNorm de cada passagem continuam sendo próprias.

Depois da montagem, o modelo «aluno» resultante é destilado a partir do próprio Qwen3-4B, ou seja, aprende a repetir as respostas do modelo original. Esse processo consumiu 22 bilhões de tokens.

O que mostraram os testes

Foram comparados o professor Qwen3-4B, o Qwen3-1.7B (treinado com 36 trilhões de tokens, cerca de 1 600 vezes mais dados) e o Concertina-2,27B.

O Concertina supera o Qwen3-1.7B em seis dos oito indicadores: a média de sete testes básicos, o base-7 (58,0% contra 56,2%), o MMLU-Pro (30,1% contra 29,7%), o GPQA, com perguntas de nível de pós-graduação (30,8% contra 29,3%), o BBH, de lógica complexa (40,0% contra 36,3%), o GSM8K, de matemática escolar (78,8% contra 71,0%), e o MATH (49,8% contra 46,0%). No MMLU (55,6% contra 55,7%) e no MMLU-Redux (58,7% contra 59,1%), fica atrás por uma margem mínima. Já o professor Qwen3-4B não é alcançado em nenhum teste: ele marca, por exemplo, 63,0% no base-7 e 87,9% no GSM8K.

A fração média da qualidade do professor, pelo cálculo feito a partir da tabela, é de 84%, como afirmam os autores. As tarefas de raciocínio são as que melhor se mantêm: cerca de 90% no base-7 e no GSM8K. Conhecimento e perguntas difíceis perdem mais: MMLU-Pro e BBH ficam entre 75% e 80% do professor.

O que se economiza e o que não

Os pesos do modelo em bf16 caem de 8,0 para 4,5 GB. Para dispositivos em que o gargalo é a memória para os pesos, o ganho é imediato: um modelo que antes não cabia agora cabe.

O resto é mais complicado. A profundidade efetiva continua sendo de 36 camadas, por isso o KV-cache é o mesmo do Qwen3-4B. O custo de computação por token provavelmente também é parecido, já que cada bloco compartilhado é executado duas vezes. O model card não traz medições de velocidade nem de throughput, então, para inferência em servidor, onde velocidade e cache são decisivos, ainda não há como confirmar a utilidade.

Há ressalvas também sobre o próprio lançamento. O repositório tem dois commits e um único checkpoint: não há outros tamanhos de grupo de camadas nem outros postos para o ajuste. O método foi demonstrado em um só modelo, e ainda não se sabe como ele se aplicaria a outras famílias. O código é curto: as funções fold_model e distill_loss e um autoteste em CPU. Os pesos estão no Hugging Face, sob licença Apache 2.0, como os do Qwen3-4B original.

O que fazer com isso

Se você roda modelos em dispositivos de borda ou precisa economizar VRAM, vale baixar o checkpoint e testá-lo nas suas tarefas, sobretudo naquelas que exigem raciocínio e matemática, e não conhecimento enciclopédico. O principal a medir por conta própria são os tokens/sec reais na sua GPU, em comparação com o Qwen3-4B convencional. Se a velocidade não aumentar, o Concertina continuará sendo um jeito de deixar o modelo mais compacto em memória, mas não mais rápido. Ainda assim, a ideia é reveladora: 22 bilhões de tokens de destilação contra 36 trilhões de tokens de treinamento completo indicam que comprimir um modelo já treinado pode custar bem menos do que criar um pequeno do zero.

História

Perguntas frequentes sobre a notícia

Como dobrar um modelo como uma sanfona?

Os autores do artigo «Folding Language Models into Themselves» partiram do Qwen3-4B. Cada par de camadas vizinhas foi substituído por um único bloco compartilhado, executado duas vezes seguidas. As matrizes compartilhadas vêm da primeira camada do par, e a profundidade da rede não muda: continuam 36 camadas, ou seja, 18 blocos únicos com duas passagens cada. Imagine que dois colegas de trabalho vizinhos fazem quase a mesma função.

O que mostraram os testes?

Foram comparados o professor Qwen3-4B, o Qwen3-1.7B (treinado com 36 trilhões de tokens, cerca de 1 600 vezes mais dados) e o Concertina-2,27B. O Concertina supera o Qwen3-1.7B em seis dos oito indicadores: a média de sete testes básicos, o base-7 (58,0% contra 56,2%), o MMLU-Pro (30,1% contra 29,7%), o GPQA, com perguntas de nível de pós-graduação (30,8% contra 29,3%), o BBH, de lógica complexa (40,0% contra 36,3%), o GSM8K, de matemática escolar (78,8% contra 71,0%), e o MATH (49,8% contra 46,0%).

O que se economiza e o que não?

Os pesos do modelo em bf16 caem de 8,0 para 4,5 GB. Para dispositivos em que o gargalo é a memória para os pesos, o ganho é imediato: um modelo que antes não cabia agora cabe. O resto é mais complicado. A profundidade efetiva continua sendo de 36 camadas, por isso o KV-cache é o mesmo do Qwen3-4B. O custo de computação por token provavelmente também é parecido, já que cada bloco compartilhado é executado duas vezes.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…