Une série d'articles sur Habr compresse un modèle d'embeddings russe de 180 à 29 millions de paramètres
Les embeddings transforment des textes en vecteurs numériques pour retrouver des textes proches, éliminer les doublons et regrouper des contenus. Le modèle russe rubert-base, avec ses 180 M de paramètres, est trop lourd pour un serveur sans GPU et confond « a trouvé un poste » avec « n'a pas trouvé de poste ». L'auteur d'une série d'articles sur Habr entraîne un petit modèle à reproduire ses vecteurs : le résultat pèse 29,4 M de paramètres et 118 Mo. Pour la recherche et la déduplication sur CPU, on peut donc construire un modèle compact adapté à sa propre tâche.
Traité par IA depuis Habr AI ; édité par Hamidun News
Les embeddings sont des vecteurs numériques en lesquels on convertit des textes afin de les comparer par le sens. Ils servent de base à la recherche dans une base de connaissances, à la suppression des doublons et au regroupement des requêtes. Pour le russe, il existe de bons modèles, mais ils sont souvent trop lourds pour un serveur ordinaire sans carte graphique, c'est-à-dire pour une exécution sur un seul CPU.
Habr a lancé une série de dix articles : l'auteur prend un gros modèle enseignant de 180 M de paramètres (les paramètres sont les poids entraînables du réseau ; plus ils sont nombreux, plus le modèle est lourd et lent) et apprend à un petit élève de 29,4 M à reproduire ses vecteurs. Il s'agit de l'introduction : elle ne contient pas de métriques finales, mais décrit clairement la tâche, les contraintes et l'architecture.
Quel problème le projet résout-il
L'enseignant est DeepPavlov/rubert-base-cased-sentence : 180 M de paramètres, 12 couches, des vecteurs de dimension 768. Le modèle est de bonne qualité, mais lent sur CPU. Il souffre de deux défauts connus.
Le premier est la « cécité à la négation ». Il distingue mal « a trouvé un emploi » de « n'a pas trouvé d'emploi », alors que le sens est opposé. Pour la déduplication et la recherche, c'est gênant : le système jugera ces textes presque identiques.
Le second est l'anisotropie. Les vecteurs de tous les textes sont comprimés dans un cône étroit, si bien que la similarité cosinus (mesure de proximité entre vecteurs) de deux textes quelconques est élevée. Il est difficile de choisir un seuil « ceci est un doublon » : la liste de suppression contiendrait des dizaines de milliers de paires au lieu de quelques-unes. Chez le modèle de base sergeyzh/rubert-tiny-turbo, avec ses 312 dimensions et son moyennage des tokens, cette compression est encore plus forte.
Les contraintes sont strictes : exécution sur CPU, taille inférieure à 300 Mo, vitesse plusieurs fois supérieure à celle de l'enseignant. La tâche ne consiste pas seulement à réduire l'enseignant, mais aussi à corriger en partie ses défauts.
Comment l'élève est conçu
La base est rubert-tiny-turbo : c'est une version de rubert-tiny2 préentraînée par apprentissage contrastif (on a entraîné le modèle à rapprocher les textes semblables et à éloigner les textes différents), ce qui donne une meilleure sémantique au départ. Le tokenizer d'origine est conservé, et le vocabulaire de 84 mille tokens n'est pas étendu.
Deux éléments sont ajoutés au-dessus des états cachés de l'encodeur :
- Un attention pooling multi-têtes à 4 têtes à la place du simple moyennage. Le modèle apprend lui-même à pondérer les mots du texte : les plus importants, comme « ne… pas », reçoivent un poids plus élevé. Les sorties des têtes sont moyennées.
- Une projection linéaire 312 → 768. Elle sert à l'entraînement, pour comparer l'élève à l'enseignant dans l'espace de ce dernier. Après l'entraînement, on peut conserver la projection ou la désactiver : 312 dimensions donnent une taille plus réduite et une vitesse supérieure.
Le whitening, c'est-à-dire le « lissage » forcé de l'espace des vecteurs, n'est pas appliqué dans le modèle principal : l'auteur compte sur l'apprentissage contrastif pour rapprocher lui-même la distribution d'une distribution uniforme. Pour le cas où le texte de l'utilisateur diffère fortement des données d'entraînement, une fonction optionnelle fit_domain() est prévue.
L'entraînement se déroule en deux étapes. En Phase A, l'encodeur est gelé et seule la nouvelle tête apprend : elle cherche à produire des vecteurs semblables à ceux de l'enseignant. En Phase B, les deux couches supérieures sont dégelées, et deux tâches sont mélangées à parts égales : InfoNCE (distinguer la bonne réponse des mauvaises) et la distillation (reproduire l'enseignant). Les données sont 243 412 textes issus de Wikipédia et d'un corpus de psychologie après suppression des doublons, plus 99 999 triplets de deepvk/ru-HNP : une requête, cinq textes pertinents et cinq textes non pertinents « difficiles ».
Ce que le praticien peut en retenir
Premièrement, les objectifs sont mesurables à l'avance. La similarité avec l'enseignant doit être d'au moins 90 % après la Phase A et d'au moins 85 % à la fin. La précision de la recherche sur les exemples négatifs difficiles doit atteindre au moins 97 %, sachant que turbo part déjà de 96,8 %. Pour la déduplication, le critère est appliqué : seules quelques paires doivent être supprimées automatiquement, et non des dizaines de milliers. Pour le clustering, le rapport entre les distances intra-cluster et inter-clusters doit être nettement supérieur à un.
Deuxièmement, le résultat est livré comme un outil fonctionnel : un dossier d'environ 120 Mo (les poids eux-mêmes pèsent 117,8 Mo) avec une classe SemanticEmbedder, dotée des méthodes encode, search, dedup, cluster et fit_domain. L'élève, turbo et l'enseignant sont comparés sur un jeu externe, ru-paraphrase-NMT-Leipzig (5000 paires), et sur trois tâches pratiques.
Il y a aussi des réserves. L'auteur prévient honnêtement : il n'est pas programmeur, tout le code a été écrit par DeepSeek, et lui-même s'est chargé du débogage et de la correction des erreurs. Les textes sont assemblés à partir de notes prises au fil du travail, et sont donc par endroits rugueux. Les chiffres de qualité n'arriveront que dans les parties suivantes, et on ne peut pas les transposer à d'autres domaines sans vérification.
Comme guide pratique, la série paraît utile : elle montre comment construire un modèle russe léger pour CPU, sans partir de zéro et sans s'en remettre à une seule métrique.
- 30 avr. 2026Habr AI montre comment construire une Linear Layer en C++ et CUDA dans sa série « De MNIST à Transformer »
- 2 mai 2026ChatGPT pour développer en Python : architecture, CI/CD et guide pratique
- 29 oct. 2026Un modèle russe performant juge « j'aime les chats » et « je n'aime pas les chats » similaires à 70 %
- 30 avr. 2026Habr AI décortique la descente de gradient en C++ et CUDA en entraînant un modèle sur MNIST
Questions clés sur cet article
Que sait-on sur Quel problème le projet résout-il ?
L'enseignant est DeepPavlov/rubert-base-cased-sentence : 180 M de paramètres, 12 couches, des vecteurs de dimension 768. Le modèle est de bonne qualité, mais lent sur CPU. Il souffre de deux défauts connus. Le premier est la « cécité à la négation ». Il distingue mal « a trouvé un emploi » de « n'a pas trouvé d'emploi », alors que le sens est opposé. Pour la déduplication et la recherche, c'est gênant : le système jugera ces textes presque identiques. Le second est l'anisotropie.
Comment l'élève est conçu?
La base est rubert-tiny-turbo : c'est une version de rubert-tiny2 préentraînée par apprentissage contrastif (on a entraîné le modèle à rapprocher les textes semblables et à éloigner les textes différents), ce qui donne une meilleure sémantique au départ. Le tokenizer d'origine est conservé, et le vocabulaire de 84 mille tokens n'est pas étendu. Deux éléments sont ajoutés au-dessus des états cachés de l'encodeur : Un attention pooling multi-têtes à 4 têtes à la place du simple moyennage.
Que sait-on sur Ce que le praticien peut en retenir ?
Premièrement, les objectifs sont mesurables à l'avance. La similarité avec l'enseignant doit être d'au moins 90 % après la Phase A et d'au moins 85 % à la fin. La précision de la recherche sur les exemples négatifs difficiles doit atteindre au moins 97 %, sachant que turbo part déjà de 96,8 %. Pour la déduplication, le critère est appliqué : seules quelques paires doivent être supprimées automatiquement, et non des dizaines de milliers.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.