Vocabulário congelado de 16 MB empata com o treinável em LLMs pequenos

No Gemma 3 270M, a tabela de embeddings ocupa 168 milhões dos 268 milhões de parâmetros, ou seja, quase dois terços do modelo. Os autores de um novo trabalho, que entrou no Hugging Face Daily Papers, se perguntaram o que exatamente essa tabela traz e a substituíram por uma versão congelada: códigos de 512 bits, 16 MB, nenhum parâmetro treinável. Eles treinaram do zero o corpo de um modelo com arquitetura Gemma, usando 2,05 bilhões de tokens, tanto com o vocabulário convencional quanto com o congelado. Em LAMBADA, HellaSwag e PIQA, a versão com a tabela congelada ficou melhor ou igual. Só o ARC-Easy continuou com a variante treinável.

Por que o vocabulário virou o principal item de custo

Em modelos pequenos, o vocabulário pesa mais que todo o resto. Os métodos de quantização costumam manter os embeddings em 16 bits. Por isso, depois que o restante da rede é comprimido, é a tabela que ocupa a maior parte do arquivo. O próprio vocabulário impede que o modelo seja reduzido ainda mais.

Os autores pegaram uma tabela de embeddings pré-treinada, projetaram-na uma única vez com análise de componentes principais (PCA) e a binarizaram pelo sinal. O resultado é um conjunto de códigos de 512 bits que ocupa 16 MB. Essa tabela não muda durante o treinamento e não exige gradientes. A versão treinável tem um ganho de 0,20 nat no loss de validação, mas custa 2,6 vezes mais parâmetros treináveis. Nos benchmarks práticos, essa diferença quase não aparece.

Corpo ternário e velocidade no notebook

Em seguida, os autores combinaram o vocabulário congelado com o corpo ternário BitNet b1.58. O modelo inteiro cabe em 46 MB e, em LAMBADA e PIQA, continua no nível do modelo float. Na CPU de um notebook, ele gera de 615 a 740 tokens por segundo e usa 62 MB de memória. Para comparação, o GGUF de 8 bits do modelo float no llama.cpp roda de cinco a seis vezes mais devagar e exige sete vezes mais memória.

Os principais números do trabalho:

• Tabela de embeddings do Gemma 3 270M: 168 milhões dos 268 milhões de parâmetros.
• Vocabulário congelado: códigos de 512 bits, 16 MB, 0 parâmetro treinável.
• Dados de treinamento: 2,05 bilhões de tokens, iguais para as duas versões.
• Custo da tabela treinável: 2,6 vezes mais parâmetros treináveis por 0,20 nat de loss.
• Modelo ternário completo: 46 MB, com 62 MB de memória em execução.
• Velocidade na CPU de notebook: de 615 a 740 tokens por segundo.

Palavras raras e novos tokens

O mais curioso são os resultados na cauda da distribuição. Em palavras raras, a tabela congelada ganha de 1,7 a 2,3 nat. O comportamento na ampliação do vocabulário é ainda mais interessante: depois do treinamento, foram adicionadas 10 000 palavras novas. O modelo com códigos congelados perdeu cerca de 3%, enquanto a qualidade do modelo com tabela treinável despencou 43%. A explicação é que os novos tokens recebem códigos do mesmo espaço em que o modelo já opera, e não um vetor ao qual o corpo do modelo não está adaptado.

Há também limitações. O experimento foi feito em uma única arquitetura, com um corpus pequeno de 2,05 bilhões de tokens e um modelo de cerca de 270 milhões de parâmetros. O artigo não permite concluir se o mesmo efeito se repete em escalas maiores. Os autores destacam que publicaram os pesos, os dados e cada resposta das avaliações, então é possível verificar os números por conta própria.

Onde isso pode ser útil

Para quem desenvolve modelos para dispositivos sem GPU, a conclusão é direta: o tamanho do vocabulário deve ser tratado como um item separado do orçamento, e não como subproduto da escolha do tokenizador. Se a tabela congelada mantém a qualidade em LAMBADA, HellaSwag e PIQA, os parâmetros treináveis podem ser gastos no corpo do modelo. Um modelo de 46 MB, que roda a centenas de tokens por segundo em um notebook comum, serve para sugestões offline, processamento local de texto e assistentes embarcados.

Outro ponto positivo é a possibilidade de adicionar terminologia depois do treinamento com perdas mínimas, o que importa em domínios específicos, como medicina, direito e código. Antes de adotar a abordagem, vale testar tarefas como o ARC-Easy, em que a tabela treinável ainda mantém a vantagem.