Dharma-AI enxuga o vocabulário do Qwen3-4B e reduz o custo de inferência em 77%

A equipe brasileira Dharma-AI mostrou quanto é possível economizar ao mexer no que costuma ser tratado como uma parte imutável do modelo: o tokenizador. Em um sistema em produção que avalia redações em português com base no Qwen3-4B, o novo vocabulário reduziu a resposta média de 350 para 101 tokens. O custo de inferência medido caiu 77,0%, e a pontuação no benchmark subiu de 0,703 para 0,810. O modelo base, os dados e a receita de treinamento continuaram os mesmos. O método foi batizado de VocabX. O artigo completo ainda não foi publicado, e os números vêm da versão atual do preprint, que está em revisão por pares.

Onde o modelo avaliador pagava a mais

O avaliador recebe a redação, o tema e textos de apoio, e devolve um JSON com a nota e um comentário para cada competência. O tokenizador seguia sendo o original do Qwen3-4B, ou seja, pensado para muitos idiomas e tipos de texto. Ele quebrava em dezenas de pedaços justamente o que o modelo escreve em toda resposta: o mesmo envoltório JSON, os nomes das competências e as formulações típicas de avaliação. Além disso, a cada passo de geração o modelo calculava probabilidades para 151 669 entradas do vocabulário, e a maioria delas quase nunca aparece nessa tarefa.

O custo aqui é assimétrico. No prefill, o modelo processa toda a entrada em uma única passada, e o gargalo é o poder de cálculo. No decode, cada token exige uma passada completa, a GPU passa a maior parte do tempo esperando dados da memória e, além dos pesos, ainda precisa ler o KV-cache.

No caso medido, um token gerado custa 7,4 vezes mais do que um token lido. Essa proporção depende do hardware, do batch e do tamanho do contexto, e pode ser maior. Em um modelo do porte do Qwen3-4B, a matriz da LM head ocupa quase 10% dos parâmetros e é lida por inteiro a cada token gerado.

Uma linha desnecessária do vocabulário custa o mesmo que uma frequente.

Tokens escolhidos pelo custo, não pela frequência

Os métodos existentes, como fast vocabulary transfer (FVT), multi-word tokenization (MWT) e in-place BPE, da Liquid AI, escolhem candidatos pela frequência e atuam em um só nível. O VocabX muda o critério: cada token economizado é multiplicado pelo preço do campo em que aparece (prompt de sistema, mensagem do usuário ou resposta do modelo). Neste caso, um token economizado na resposta pesa 7,4 vezes mais do que um economizado na entrada. O trabalho acontece em duas camadas ao mesmo tempo: a de subpalavras e a de multipalavras, em que fragmentos repetidos viram um único macro-token. Para encontrar esses fragmentos, o método usa cinco mineradores:

• palavras longas;
• linhas inteiras;
• expressões;
• frases completas;
• estruturas com pontuação, como JSON e tags.

O último minerador foi o que mais contribuiu na média dos oito corpora e, sozinho, rendeu 17,5 pontos em código. Sem os cinco, a redução de tokens no avaliador cairia 55,6 pontos.

Outro problema está em estimar o ganho a partir de uma amostra de documentos. Uma expressão que aparece 37 vezes em 50 000 documentos entra em uma amostra de 400 documentos em apenas 26% dos casos. No corpus de contratos, só 16,6% dos candidatos entram nessa amostra, e os demais ficam com ganho zero. A equipe calcula com exatidão a parte do ganho que dá para medir no corpus inteiro e estima estatisticamente a parte não coberta. Nos contratos, isso elevou a redução de tokens de 44,7% para 52,8%, com a mesma amostra e o mesmo orçamento.

O macro que engoliu a decisão do modelo

Para a comparação, foram treinadas sete versões do avaliador com a mesma base, os mesmos dados, a mesma receita e o mesmo seed. Só o tokenizador mudava. Todas rodaram os mesmos 500 requests em uma RTX 5090 com vLLM, e o custo foi calculado pelo tempo medido.

A primeira versão fundiu a nota de cada competência com o JSON ao redor em um único macro-token. Foi a mais compacta (queda de 73,3% no custo), mas a qualidade caiu para 0,689, contra 0,703 da versão de produção. A nota dentro do macro transformava cada combinação de nota e estrutura em uma variante separada de token, e o modelo fazia toda a escolha em um único passo.

Um token separado para a nota custou dois tokens extras por resposta, mas elevou a pontuação para 0,810, e a redução de custo chegou a 77,0%.

A verificação em material mais amplo trouxe o seguinte quadro: cinco domínios (contratos, artigos médicos, artigos científicos, notícias e código em Python) e três famílias de modelos (Qwen3, Llama-3.1 e Gemma-3). O VocabX comprimiu mais do que a melhor referência em todas as 15 combinações, com vantagem de 1,2 a 9,3 pontos. Na estimativa de custo de inferência, a versão enxuta também ganhou em todos os casos: em média 10,2 pontos no Qwen3, 7,5 no Llama-3.1 e 13,6 no Gemma-3. Nos contratos, ela atingiu 62,6% de redução com 113 426 entradas no vocabulário, enquanto a melhor variante de in-place BPE obteve 61,8% com 207 803.

Quando vale mexer no tokenizador

A abordagem serve para modelos de produção especializados, com estrutura de resposta repetitiva: avaliadores, extratores, geradores de JSON e assistentes jurídicos e de código. Quanto mais modelo de texto houver na resposta e quanto mais o decode depender da memória, maior o efeito. O ganho vem de três partes: resposta mais curta, matriz da LM head menor e menos leituras a cada passo.

Há também um alerta. Se o fragmento comprimido contém a decisão que justifica a existência do modelo (aqui, a nota), ela não deve ser escondida em um macro-token. O objetivo é obter o vocabulário mais barato que preserve os tokens relevantes. Sem isso, é possível economizar no custo e perder qualidade.