RuBERT ganha conhecimento de grafo: vetores são calculados antes e a atenção fica intocada
O RuBERT enxerga quais palavras aparecem juntas, mas não sabe que «gradiente descendente» é um tipo de otimização, e se confunde com termos científicos raros. O autor de uma análise no Habr propõe pré-calcular vetores de conceitos a partir de um grafo de conhecimento (uma base com as relações entre termos) e concatená-los ao vetor do RuBERT antes de um classificador pequeno. Assim, dispensa-se o pesado K-BERT, limitado a 512 tokens. Ainda não há medições de qualidade, então será preciso testar com os seus próprios dados.
Processado por IA de Habr AI; editado por Hamidun News
Imagine que você está montando um classificador de assuntos para uma biblioteca científica ou para uma base interna de artigos. Você pega o RuBERT, a versão em russo do modelo de linguagem BERT, da DeepPavlov, e faz o fine-tuning com textos rotulados. Enquanto os termos são simples, a qualidade é razoável.
Mas chegam artigos interdisciplinares com conceitos raros, e o modelo se perde: ele sabe quais palavras costumam aparecer lado a lado, mas não sabe que «gradiente descendente» é uma variedade de otimização. O Habr publicou uma análise de como tapar esse buraco sem uma reengenharia pesada do modelo: calcular antecipadamente vetores de conceitos a partir de um grafo de conhecimento (uma base em que as relações entre termos são registradas de forma explícita) e misturá-los à saída do RuBERT. Uma ressalva logo de início: trata-se do projeto de um método, não de um relatório de experimentos.
O material não traz números de qualidade, e por isso o título também não os traz.
Por que não K-BERT nem ERNIE
O caminho mais óbvio é embutir o grafo de conhecimento diretamente no transformer. O K-BERT encontra entidades no texto, busca suas triplas «sujeito — relação — objeto» e as anexa à frase, transformando-a em uma árvore. Para que a atenção não se espalhe por ramos desnecessários, são adicionados índices posicionais especiais e uma matriz de visibilidade.
Essa abordagem tem três pontos fracos para artigos científicos longos. A sequência cresce, e o custo do mecanismo de atenção cresce de forma quadrática. O limite do BERT, de 512 tokens (algo como alguns parágrafos de texto), se esgota mais rápido, e o contexto do artigo precisa ser truncado. E, se um termo é vinculado ao nó errado do grafo, o erro passa pela atenção e estraga a representação do texto inteiro.
O ERNIE age de outro modo: no pré-treinamento, ele mascara entidades nomeadas inteiras e puxa suas descrições de uma base de conhecimento. Mas a estrutura do grafo fica de fora: a hierarquia e os tipos de relação não ficam visíveis para o modelo. Além disso, termos muito específicos muitas vezes nem têm descrições enciclopédicas.
Como funciona o esquema leve
A ideia é não mexer nas entranhas do modelo de linguagem. O grafo de conhecimento é convertido em vetores antes, offline, por um dos métodos disponíveis. O TransE trata a relação como um deslocamento no espaço vetorial. O RotatE a trata como uma rotação no espaço complexo e captura bem relações simétricas e inversas. O node2vec usa caminhadas aleatórias pelo grafo e não exige tipos de relação rotulados.
Daí em diante há dois fluxos. O de texto: o RuBERT gera o vetor do token especial [CLS], com 768 números, que concentra o sentido do documento inteiro. O de grafo: um módulo de NER (busca de entidades nomeadas) encontra os conceitos científicos no artigo, cada um é vinculado a um nó do grafo, e seus vetores são obtidos por chave em uma tabela congelada e depois tirados em média. Se nenhum conceito for encontrado, entra um vetor nulo, e o classificador se apoia apenas no texto.
Os dois vetores são concatenados e seguem para um classificador MLP pequeno: camada oculta de 256 neurônios, função ReLU, dropout 0,3 e softmax na saída. No exemplo em PyTorch, toda a parte de grafo se resume a nn.Embedding.from_pretrained(..., freeze=True) e a algumas linhas de média com máscara. O treinamento usa entropia cruzada com o otimizador AdamW. Essa fusão no nível de features já prontas, e não de dados brutos ou de respostas finais, permite que o classificador aprenda a interação entre o contexto e a estrutura do grafo.
O que isso traz na prática e onde está a pegadinha
A conta é simples. A busca do vetor por chave custa O(1) por conceito, ou seja, não depende do tamanho do grafo. Redes neurais de grafos pesadas não são necessárias em tempo de execução, e o mecanismo de atenção não muda. Nenhum token é gasto com conhecimento, então nem o tamanho da entrada nem a velocidade sofrem de forma perceptível. A robustez também é melhor: um termo vinculado errado é um vetor entre muitos na média, e não um contexto envenenado.
As pegadinhas não faltam. Primeiro, tudo depende da qualidade do NER e da vinculação dos termos aos nós: sem ela, o grafo não acrescenta nada. Segundo, é preciso ter um grafo pronto que cubra a sua área, senão a maioria dos artigos receberá um vetor nulo. Terceiro, o limite de 512 tokens do BERT continua lá: artigos longos ainda terão de ser cortados em fragmentos, ou será preciso usar o título com o resumo. Quarto, a média apaga a ordem e a importância dos termos, e o conceito-chave pode se perder entre os secundários.
O autor planeja comparar o método por Macro F1 (métrica sensível a classes raras em dados desbalanceados), além de Micro F1, accuracy e milissegundos por documento. As linhas de base são: TF-IDF com regressão logística ou SVM, RuBERT puro, K-BERT e ERNIE. O critério de sucesso é um ganho de Macro F1 sobre o RuBERT puro com velocidade maior que a dos híbridos pesados.
Conclusão prática: se você tem uma ontologia ou um grafo da área e um NER que funciona, dá para montar o esquema em um par de dias. Primeiro compare-o com o RuBERT puro nos seus dados e só depois decida se o grafo é necessário. Por ora, é uma hipótese, e só será possível acreditar nela depois das suas próprias medições.
- 29 de out. de 2026Autor de série no Habr comprime modelo russo de embeddings de 180 para 29 milhões de parâmetros
- 30 de abr. de 2026IWE e OpenAI: como transformar notas em markdown em um grafo de conhecimento para agentes de IA
- 29 de out. de 2026Forte modelo russa considera «gosto de gatos» e «não gosto de gatos» 70% semelhantes
- 19 de jul. de 2026Desenvolvedor cria filtro de spam local com o modelo ruBert-base-antispam, sem VPN
Perguntas frequentes sobre a notícia
Por que não K-BERT nem ERNIE?
O caminho mais óbvio é embutir o grafo de conhecimento diretamente no transformer. O K-BERT encontra entidades no texto, busca suas triplas «sujeito — relação — objeto» e as anexa à frase, transformando-a em uma árvore. Para que a atenção não se espalhe por ramos desnecessários, são adicionados índices posicionais especiais e uma matriz de visibilidade. Essa abordagem tem três pontos fracos para artigos científicos longos. A sequência cresce, e o custo do mecanismo de atenção cresce de forma quadrática.
Como funciona o esquema leve?
A ideia é não mexer nas entranhas do modelo de linguagem. O grafo de conhecimento é convertido em vetores antes, offline, por um dos métodos disponíveis. O TransE trata a relação como um deslocamento no espaço vetorial. O RotatE a trata como uma rotação no espaço complexo e captura bem relações simétricas e inversas. O node2vec usa caminhadas aleatórias pelo grafo e não exige tipos de relação rotulados. Daí em diante há dois fluxos.
O que isso traz na prática e onde está a pegadinha?
A conta é simples. A busca do vetor por chave custa O(1) por conceito, ou seja, não depende do tamanho do grafo. Redes neurais de grafos pesadas não são necessárias em tempo de execução, e o mecanismo de atenção não muda. Nenhum token é gasto com conhecimento, então nem o tamanho da entrada nem a velocidade sofrem de forma perceptível. A robustez também é melhor: um termo vinculado errado é um vetor entre muitos na média, e não um contexto envenenado. As pegadinhas não faltam.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.