Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
IndústriaAnálise · No radarHabr AI→ original

RuBERT ganha conhecimento de grafo: vetores são calculados antes e a atenção fica intocada

O RuBERT enxerga quais palavras aparecem juntas, mas não sabe que «gradiente descendente» é um tipo de otimização, e se confunde com termos científicos raros. O autor de uma análise no Habr propõe pré-calcular vetores de conceitos a partir de um grafo de conhecimento (uma base com as relações entre termos) e concatená-los ao vetor do RuBERT antes de um classificador pequeno. Assim, dispensa-se o pesado K-BERT, limitado a 512 tokens. Ainda não há medições de qualidade, então será preciso testar com os seus próprios dados.

Processado por IA de Habr AI; editado por Hamidun News
RuBERT ganha conhecimento de grafo: vetores são calculados antes e a atenção fica intocada
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O K-BERT infla a entrada com triplas e esbarra no limite de 512 tokens
Dado-chave #2A busca do vetor por chave custa O(1) por conceito, sem necessidade de redes neurais de grafos
Dado-chave #3Um termo vinculado ao nó errado é apenas um vetor na média, e não uma falha no texto inteiro

Imagine que você está montando um classificador de assuntos para uma biblioteca científica ou para uma base interna de artigos. Você pega o RuBERT, a versão em russo do modelo de linguagem BERT, da DeepPavlov, e faz o fine-tuning com textos rotulados. Enquanto os termos são simples, a qualidade é razoável.

Mas chegam artigos interdisciplinares com conceitos raros, e o modelo se perde: ele sabe quais palavras costumam aparecer lado a lado, mas não sabe que «gradiente descendente» é uma variedade de otimização. O Habr publicou uma análise de como tapar esse buraco sem uma reengenharia pesada do modelo: calcular antecipadamente vetores de conceitos a partir de um grafo de conhecimento (uma base em que as relações entre termos são registradas de forma explícita) e misturá-los à saída do RuBERT. Uma ressalva logo de início: trata-se do projeto de um método, não de um relatório de experimentos.

O material não traz números de qualidade, e por isso o título também não os traz.

Por que não K-BERT nem ERNIE

O caminho mais óbvio é embutir o grafo de conhecimento diretamente no transformer. O K-BERT encontra entidades no texto, busca suas triplas «sujeito — relação — objeto» e as anexa à frase, transformando-a em uma árvore. Para que a atenção não se espalhe por ramos desnecessários, são adicionados índices posicionais especiais e uma matriz de visibilidade.

Essa abordagem tem três pontos fracos para artigos científicos longos. A sequência cresce, e o custo do mecanismo de atenção cresce de forma quadrática. O limite do BERT, de 512 tokens (algo como alguns parágrafos de texto), se esgota mais rápido, e o contexto do artigo precisa ser truncado. E, se um termo é vinculado ao nó errado do grafo, o erro passa pela atenção e estraga a representação do texto inteiro.

O ERNIE age de outro modo: no pré-treinamento, ele mascara entidades nomeadas inteiras e puxa suas descrições de uma base de conhecimento. Mas a estrutura do grafo fica de fora: a hierarquia e os tipos de relação não ficam visíveis para o modelo. Além disso, termos muito específicos muitas vezes nem têm descrições enciclopédicas.

Como funciona o esquema leve

A ideia é não mexer nas entranhas do modelo de linguagem. O grafo de conhecimento é convertido em vetores antes, offline, por um dos métodos disponíveis. O TransE trata a relação como um deslocamento no espaço vetorial. O RotatE a trata como uma rotação no espaço complexo e captura bem relações simétricas e inversas. O node2vec usa caminhadas aleatórias pelo grafo e não exige tipos de relação rotulados.

Daí em diante há dois fluxos. O de texto: o RuBERT gera o vetor do token especial [CLS], com 768 números, que concentra o sentido do documento inteiro. O de grafo: um módulo de NER (busca de entidades nomeadas) encontra os conceitos científicos no artigo, cada um é vinculado a um nó do grafo, e seus vetores são obtidos por chave em uma tabela congelada e depois tirados em média. Se nenhum conceito for encontrado, entra um vetor nulo, e o classificador se apoia apenas no texto.

Os dois vetores são concatenados e seguem para um classificador MLP pequeno: camada oculta de 256 neurônios, função ReLU, dropout 0,3 e softmax na saída. No exemplo em PyTorch, toda a parte de grafo se resume a nn.Embedding.from_pretrained(..., freeze=True) e a algumas linhas de média com máscara. O treinamento usa entropia cruzada com o otimizador AdamW. Essa fusão no nível de features já prontas, e não de dados brutos ou de respostas finais, permite que o classificador aprenda a interação entre o contexto e a estrutura do grafo.

O que isso traz na prática e onde está a pegadinha

A conta é simples. A busca do vetor por chave custa O(1) por conceito, ou seja, não depende do tamanho do grafo. Redes neurais de grafos pesadas não são necessárias em tempo de execução, e o mecanismo de atenção não muda. Nenhum token é gasto com conhecimento, então nem o tamanho da entrada nem a velocidade sofrem de forma perceptível. A robustez também é melhor: um termo vinculado errado é um vetor entre muitos na média, e não um contexto envenenado.

As pegadinhas não faltam. Primeiro, tudo depende da qualidade do NER e da vinculação dos termos aos nós: sem ela, o grafo não acrescenta nada. Segundo, é preciso ter um grafo pronto que cubra a sua área, senão a maioria dos artigos receberá um vetor nulo. Terceiro, o limite de 512 tokens do BERT continua lá: artigos longos ainda terão de ser cortados em fragmentos, ou será preciso usar o título com o resumo. Quarto, a média apaga a ordem e a importância dos termos, e o conceito-chave pode se perder entre os secundários.

O autor planeja comparar o método por Macro F1 (métrica sensível a classes raras em dados desbalanceados), além de Micro F1, accuracy e milissegundos por documento. As linhas de base são: TF-IDF com regressão logística ou SVM, RuBERT puro, K-BERT e ERNIE. O critério de sucesso é um ganho de Macro F1 sobre o RuBERT puro com velocidade maior que a dos híbridos pesados.

Conclusão prática: se você tem uma ontologia ou um grafo da área e um NER que funciona, dá para montar o esquema em um par de dias. Primeiro compare-o com o RuBERT puro nos seus dados e só depois decida se o grafo é necessário. Por ora, é uma hipótese, e só será possível acreditar nela depois das suas próprias medições.

História

Perguntas frequentes sobre a notícia

Por que não K-BERT nem ERNIE?

O caminho mais óbvio é embutir o grafo de conhecimento diretamente no transformer. O K-BERT encontra entidades no texto, busca suas triplas «sujeito — relação — objeto» e as anexa à frase, transformando-a em uma árvore. Para que a atenção não se espalhe por ramos desnecessários, são adicionados índices posicionais especiais e uma matriz de visibilidade. Essa abordagem tem três pontos fracos para artigos científicos longos. A sequência cresce, e o custo do mecanismo de atenção cresce de forma quadrática.

Como funciona o esquema leve?

A ideia é não mexer nas entranhas do modelo de linguagem. O grafo de conhecimento é convertido em vetores antes, offline, por um dos métodos disponíveis. O TransE trata a relação como um deslocamento no espaço vetorial. O RotatE a trata como uma rotação no espaço complexo e captura bem relações simétricas e inversas. O node2vec usa caminhadas aleatórias pelo grafo e não exige tipos de relação rotulados. Daí em diante há dois fluxos.

O que isso traz na prática e onde está a pegadinha?

A conta é simples. A busca do vetor por chave custa O(1) por conceito, ou seja, não depende do tamanho do grafo. Redes neurais de grafos pesadas não são necessárias em tempo de execução, e o mecanismo de atenção não muda. Nenhum token é gasto com conhecimento, então nem o tamanho da entrada nem a velocidade sofrem de forma perceptível. A robustez também é melhor: um termo vinculado errado é um vetor entre muitos na média, e não um contexto envenenado. As pegadinhas não faltam.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…