Autor de série no Habr comprime modelo russo de embeddings de 180 para 29 milhões de parâmetros
Embeddings transformam textos em vetores numéricos para buscar itens semelhantes, limpar duplicatas e agrupar conteúdo. O modelo russo rubert-base, com 180 milhões de parâmetros, é pesado para um servidor sem GPU e confunde "conseguiu o emprego" com "não conseguiu o emprego". O autor de uma série no Habr treina um modelo pequeno para reproduzir os vetores dele: o resultado tem 29,4 milhões de parâmetros e 118 MB. Para busca e deduplicação em CPU, dá para montar um modelo compacto sob medida para a sua tarefa.
Processado por IA de Habr AI; editado por Hamidun News
Embeddings são vetores numéricos nos quais os textos são convertidos para que possam ser comparados por significado. É nisso que se apoiam a busca em bases de conhecimento, a limpeza de duplicatas e o agrupamento de solicitações. Para o russo existem bons modelos, mas eles costumam ser pesados demais para um servidor comum sem placa de vídeo, ou seja, para rodar apenas em CPU.
No Habr começou uma série de dez artigos: o autor pega um modelo professor grande, com 180 milhões de parâmetros (parâmetros são os pesos treináveis da rede; quanto mais deles, mais pesado e lento é o modelo), e ensina um pequeno aluno, de 29,4 milhões, a reproduzir os vetores dele. Esta é a parte introdutória: não traz métricas finais, mas descreve com clareza a tarefa, as restrições e a arquitetura.
Que problema o projeto resolve
O professor é o DeepPavlov/rubert-base-cased-sentence: 180 milhões de parâmetros, 12 camadas, vetores de dimensão 768. O modelo tem boa qualidade, mas é lento em CPU. Ele tem dois defeitos conhecidos.
O primeiro é a "cegueira à negação". As frases "conseguiu o emprego" e "não conseguiu o emprego" são mal distinguidas por ele, embora tenham sentidos opostos. Para deduplicação e busca, isso é um problema: o sistema considera esses textos quase idênticos.
O segundo é a anisotropia. Os vetores de todos os textos ficam comprimidos em um cone estreito, e por isso a similaridade de cosseno (medida de proximidade entre vetores) entre quaisquer dois textos sai alta. Escolher o limiar de "isto é duplicata" fica difícil: na lista de remoção entram dezenas de milhares de pares, em vez de alguns poucos. No modelo base sergeyzh/rubert-tiny-turbo, com suas 312 dimensões e média dos tokens, a compressão é ainda mais forte.
As restrições são rígidas: rodar em CPU, ocupar até 300 MB e ser várias vezes mais rápido que o professor. A tarefa não é só reduzir o professor, mas também corrigir parcialmente os defeitos dele.
Como o aluno é construído
A base é o rubert-tiny-turbo, uma versão do rubert-tiny2 pré-treinada de forma contrastiva (o modelo foi treinado para aproximar textos semelhantes e afastar os diferentes), o que dá uma semântica melhor já na partida. O tokenizador original é mantido, e o vocabulário de 84 mil tokens não é ampliado.
Sobre os estados ocultos prontos do encoder, são adicionados dois elementos:
- Multi-head attention pooling com 4 cabeças, no lugar da média simples. O próprio modelo aprende a ponderar as palavras do texto: as importantes, como "não", recebem peso maior. As saídas das cabeças são promediadas.
- Projeção linear 312 → 768. Ela serve ao treinamento, para comparar o aluno com o professor no espaço dele. Depois do treino, a projeção pode ser mantida ou desligada: 312 dimensões dão um modelo menor e mais rápido.
Whitening, isto é, o "alisamento" forçado do espaço de vetores, não é aplicado no modelo principal: o autor espera que o treinamento contrastivo, por si só, deixe a distribuição mais próxima da uniforme. Para o caso em que o texto do usuário difere muito do texto de treino, há uma função opcional, fit_domain().
O treinamento tem duas etapas. Na Phase A, o encoder fica congelado e só a nova cabeça aprende: ela tenta fazer seus vetores se parecerem com os do professor. Na Phase B, as duas camadas superiores são descongeladas e duas tarefas são misturadas em partes iguais: InfoNCE (distinguir a resposta correta das incorretas) e destilação (reproduzir o professor). Os dados são 243 412 textos da Wikipédia e de um corpus de psicologia, após a remoção de duplicatas, mais 99 999 trios do deepvk/ru-HNP: uma consulta, cinco textos adequados e cinco textos "difíceis" e inadequados.
O que há de útil aqui para quem trabalha na prática
Primeiro, as metas são mensuráveis de antemão. A similaridade com o professor após a Phase A deve ser de pelo menos 90%, e a final, de pelo menos 85%. A precisão da busca em exemplos negativos difíceis deve ser de pelo menos 97%, e o turbo já parte de 96,8%. Para a deduplicação, o critério é aplicado: entram na remoção automática poucos pares, e não dezenas de milhares. Para o agrupamento, a razão entre as distâncias dentro dos clusters e entre eles deve ficar bem acima de um.
Segundo, o resultado é entregue como uma ferramenta pronta para uso: uma pasta de cerca de 120 MB (só os pesos têm 117,8 MB) com a classe SemanticEmbedder, que tem os métodos encode, search, dedup, cluster e fit_domain. O aluno, o turbo e o professor são comparados em um conjunto externo, o ru-paraphrase-NMT-Leipzig (5000 pares), e em três tarefas práticas.
Há também ressalvas. O autor avisa com franqueza: não é programador, todo o código foi escrito pelo DeepSeek, e ele mesmo cuidou da depuração e da correção de erros. Os textos foram montados a partir de anotações feitas ao longo do trabalho, por isso em alguns pontos ficam um pouco ásperos. Os números de qualidade só aparecerão nas próximas partes, e não é possível transferi-los para outros domínios sem verificação.
Como material de referência, a série parece útil: mostra como montar um modelo leve em russo para CPU sem começar do zero e sem depender de uma única métrica.
- 30 de abr. de 2026Habr AI mostra como montar uma Linear Layer em C++ e CUDA na série «De MNIST a Transformer»
- 2 de mai. de 2026ChatGPT para desenvolvimento em Python: arquitetura, CI/CD e guia prático
- 29 de out. de 2026Forte modelo russa considera «gosto de gatos» e «não gosto de gatos» 70% semelhantes
- 30 de abr. de 2026Habr AI explica o gradiente descendente em C++ e CUDA treinando um modelo no MNIST
Perguntas frequentes sobre a notícia
O que se sabe sobre Que problema o projeto resolve?
O professor é o DeepPavlov/rubert-base-cased-sentence: 180 milhões de parâmetros, 12 camadas, vetores de dimensão 768. O modelo tem boa qualidade, mas é lento em CPU. Ele tem dois defeitos conhecidos. O primeiro é a "cegueira à negação". As frases "conseguiu o emprego" e "não conseguiu o emprego" são mal distinguidas por ele, embora tenham sentidos opostos. Para deduplicação e busca, isso é um problema: o sistema considera esses textos quase idênticos. O segundo é a anisotropia.
Como o aluno é construído?
A base é o rubert-tiny-turbo, uma versão do rubert-tiny2 pré-treinada de forma contrastiva (o modelo foi treinado para aproximar textos semelhantes e afastar os diferentes), o que dá uma semântica melhor já na partida. O tokenizador original é mantido, e o vocabulário de 84 mil tokens não é ampliado. Sobre os estados ocultos prontos do encoder, são adicionados dois elementos: Multi-head attention pooling com 4 cabeças, no lugar da média simples.
O que há de útil aqui para quem trabalha na prática?
Primeiro, as metas são mensuráveis de antemão. A similaridade com o professor após a Phase A deve ser de pelo menos 90%, e a final, de pelo menos 85%. A precisão da busca em exemplos negativos difíceis deve ser de pelo menos 97%, e o turbo já parte de 96,8%. Para a deduplicação, o critério é aplicado: entram na remoção automática poucos pares, e não dezenas de milhares. Para o agrupamento, a razão entre as distâncias dentro dos clusters e entre eles deve ficar bem acima de um.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.