Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

RuBERT apprend à exploiter un graphe de connaissances : vecteurs précalculés, attention intacte

RuBERT voit quels mots apparaissent côte à côte, mais ignore que la « descente de gradient » est une forme d'optimisation. Il se perd donc sur les termes scientifiques rares. L'auteur d'une analyse publiée sur Habr propose de précalculer les vecteurs de concepts à partir d'un graphe de connaissances (une base où les liens entre termes sont consignés explicitement), puis de les concaténer au vecteur de RuBERT avant un petit classifieur. Cette approche évite le lourd K-BERT et sa limite de 512 tokens. Aucune mesure de qualité n'est disponible pour l'instant : il faudra tester sur vos propres données.

Traité par IA depuis Habr AI ; édité par Hamidun News
RuBERT apprend à exploiter un graphe de connaissances : vecteurs précalculés, attention intacte
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1K-BERT gonfle l'entrée avec des triplets et se heurte à la limite de 512 tokens
Chiffre clé #2La recherche d'un vecteur par clé coûte O(1) par concept, sans réseaux de neurones sur graphes
Chiffre clé #3Un terme mal rattaché ne représente qu'un vecteur dans la moyenne, et non une défaillance de tout le texte

Imaginez que vous construisiez un classificateur thématique pour une bibliothèque scientifique ou une base interne d'articles. Vous prenez RuBERT, la version russophone du modèle de langage BERT développée par DeepPavlov, et vous l'affinez sur des textes annotés. Tant que les termes restent simples, la qualité est correcte.

Mais arrivent des articles interdisciplinaires truffés de concepts rares, et le modèle s'égare : il sait quels mots apparaissent souvent ensemble, mais pas que la « descente de gradient » est une variété d'optimisation. Habr a publié une analyse qui explique comment combler cette lacune sans remanier lourdement le modèle : précalculer des vecteurs de concepts à partir d'un graphe de connaissances (une base où les liens entre termes sont écrits explicitement) et les ajouter à la sortie de RuBERT. Précision d'emblée : il s'agit d'un projet de méthode, pas d'un compte rendu d'expériences.

L'article ne contient aucun chiffre de qualité, et c'est pourquoi le titre n'en contient pas non plus.

Pourquoi pas K-BERT ni ERNIE

La voie la plus évidente consiste à intégrer le graphe de connaissances directement dans le transformeur. K-BERT repère les entités dans le texte, récupère leurs triplets « sujet — relation — objet » et les greffe à la phrase, qui devient un arbre. Pour que l'attention ne se disperse pas sur des branches superflues, on ajoute des indices de position spéciaux et une matrice de visibilité.

Pour de longs articles scientifiques, cette approche présente trois points faibles. La séquence s'allonge, alors que le coût du mécanisme d'attention croît de façon quadratique. La limite de BERT, 512 tokens (soit quelques paragraphes de texte), est atteinte plus vite, et il faut tronquer le contexte de l'article. Enfin, si un terme est rattaché à un mauvais nœud du graphe, l'erreur se propage via l'attention et dégrade la représentation de tout le texte.

ERNIE procède autrement : lors du préentraînement, il masque des entités nommées entières et va chercher leurs descriptions dans une base de connaissances. Mais la structure du graphe reste hors champ : le modèle ne voit ni la hiérarchie ni les types de relations. De plus, les termes très spécialisés n'ont souvent aucune description encyclopédique.

Comment fonctionne le schéma léger

L'idée est de ne pas toucher aux entrailles du modèle de langage. Le graphe de connaissances est converti en vecteurs à l'avance, hors ligne, avec l'une de ces méthodes. TransE traite une relation comme une translation dans l'espace vectoriel. RotatE la traite comme une rotation dans l'espace complexe et capte bien les relations symétriques et inverses. node2vec s'appuie sur des marches aléatoires dans le graphe et n'exige pas de types de relations annotés.

Viennent ensuite deux flux. Le flux textuel : RuBERT produit le vecteur du token spécial [CLS], de 768 valeurs, qui condense le sens de tout le document. Le flux graphique : un module de NER (reconnaissance d'entités nommées) repère les concepts scientifiques de l'article, chacun est rattaché à un nœud du graphe, et leurs vecteurs sont extraits par clé d'une table gelée, puis moyennés. Si aucun concept n'est trouvé, on injecte un vecteur nul et le classifieur s'appuie uniquement sur le texte.

Les deux vecteurs sont concaténés et envoyés dans un petit classifieur MLP : une couche cachée de 256 neurones, la fonction ReLU, un dropout de 0,3 et un softmax en sortie. Dans l'exemple en PyTorch, toute la partie graphe se résume à nn.Embedding.from_pretrained(..., freeze=True) et à quelques lignes de moyenne avec masque. L'entraînement utilise l'entropie croisée avec l'optimiseur AdamW. Cette fusion au niveau des caractéristiques déjà calculées, et non des données brutes ou des réponses finales, permet au classifieur d'apprendre l'interaction entre le contexte et la structure du graphe.

Ce que cela donne en pratique, et où est le piège

L'économie est simple. La recherche d'un vecteur par clé coûte O(1) par concept, c'est-à-dire qu'elle ne dépend pas de la taille du graphe. Les lourds réseaux de neurones sur graphes sont inutiles à l'exécution, et le mécanisme d'attention reste inchangé. Aucun token n'est consommé pour les connaissances, si bien que ni la longueur de l'entrée ni la vitesse ne souffrent sensiblement. La robustesse est aussi meilleure : un terme mal rattaché n'est qu'un vecteur parmi d'autres dans la moyenne, et non un contexte empoisonné.

Les écueils ne manquent pas. Premièrement, tout repose sur la qualité du NER et du rattachement des termes aux nœuds : sans elle, le graphe n'apporte rien. Deuxièmement, il faut un graphe prêt à l'emploi qui couvre votre domaine, faute de quoi la plupart des articles recevront un vecteur nul. Troisièmement, la limite de 512 tokens de BERT n'a pas disparu : les longs articles devront toujours être découpés en fragments, ou réduits à leur titre et leur résumé. Quatrièmement, la moyenne efface l'ordre et l'importance des termes, et un concept clé peut se noyer parmi des concepts secondaires.

L'auteur prévoit de comparer la méthode selon le Macro F1 (une métrique sensible aux classes rares sur des données déséquilibrées), ainsi que selon le Micro F1, l'accuracy et les millisecondes par document. Les références : TF-IDF avec régression logistique ou SVM, RuBERT standard, K-BERT et ERNIE. Le critère de succès est un gain de Macro F1 par rapport à RuBERT standard, avec une vitesse supérieure à celle des hybrides lourds.

En pratique : si vous disposez d'une ontologie ou d'un graphe de votre domaine et d'un NER fonctionnel, vous pouvez monter ce schéma en quelques jours. Comparez-le d'abord à RuBERT standard sur vos propres données, et ne décidez qu'ensuite si le graphe est nécessaire. Pour l'instant, ce n'est qu'une hypothèse, et on ne pourra y croire qu'après vos propres mesures.

Dossier

Questions clés sur cet article

Pourquoi pas K-BERT ni ERNIE?

La voie la plus évidente consiste à intégrer le graphe de connaissances directement dans le transformeur. K-BERT repère les entités dans le texte, récupère leurs triplets « sujet — relation — objet » et les greffe à la phrase, qui devient un arbre. Pour que l'attention ne se disperse pas sur des branches superflues, on ajoute des indices de position spéciaux et une matrice de visibilité. Pour de longs articles scientifiques, cette approche présente trois points faibles.

Comment fonctionne le schéma léger?

L'idée est de ne pas toucher aux entrailles du modèle de langage. Le graphe de connaissances est converti en vecteurs à l'avance, hors ligne, avec l'une de ces méthodes. TransE traite une relation comme une translation dans l'espace vectoriel. RotatE la traite comme une rotation dans l'espace complexe et capte bien les relations symétriques et inverses. node2vec s'appuie sur des marches aléatoires dans le graphe et n'exige pas de types de relations annotés. Viennent ensuite deux flux.

Que sait-on sur Ce que cela donne en pratique, et où est le piège ?

L'économie est simple. La recherche d'un vecteur par clé coûte O(1) par concept, c'est-à-dire qu'elle ne dépend pas de la taille du graphe. Les lourds réseaux de neurones sur graphes sont inutiles à l'exécution, et le mécanisme d'attention reste inchangé. Aucun token n'est consommé pour les connaissances, si bien que ni la longueur de l'entrée ni la vitesse ne souffrent sensiblement.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…