Un modèle russe performant juge « j'aime les chats » et « je n'aime pas les chats » similaires à 70 %
Un embedding transforme une phrase en un ensemble de nombres, afin que la recherche retrouve des textes proches par le sens. L'auteur d'une série sur Habr choisit la base d'un modèle russe compact de 29,4 M paramètres et teste le grand « enseignant » DeepPavlov. Celui-ci juge « je mange des chats » et « je n'aime pas les chats » similaires à 70 %, et « le médecin a prescrit » et « le médecin a annulé le traitement » à 65,5 %. Pour la recherche et la déduplication dans la médecine et le droit, il faut donc tester le modèle sur les négations en amont.
Traité par IA depuis Habr AI ; édité par Hamidun News
Imaginez une recherche dans une base de documents qui considère « le médecin a prescrit le traitement » et « le médecin a annulé le traitement » comme presque identiques. C'est exactement le comportement d'un puissant modèle russe d'embeddings, que l'auteur d'une série sur Habr a pris comme « enseignant ». Un embedding transforme un texte en vecteur, c'est-à-dire en un ensemble de nombres, et la similarité entre deux phrases se calcule comme le cosinus de l'angle entre les vecteurs : 100 % (1,0) signifie que le sens coïncide, environ 0 % signifie qu'il n'y a rien de commun.
Pour l'enseignant, « j'aime les chats » et « je n'aime pas les chats » obtiennent 0,702, soit environ 70 % de similarité, alors que le sens est opposé. Il s'agit de la première partie d'une série de dix articles sur la compression d'un modèle à 29,4 millions de paramètres.
Ce que fait l'auteur et pourquoi
La méthode s'appelle la distillation : un petit « élève » apprend à reproduire le comportement d'un grand « enseignant », afin de fonctionner vite et sur un processeur ordinaire, sans GPU. L'auteur précise d'emblée qu'il n'est pas programmeur : tout le code a été écrit par le réseau de neurones DeepSeek, et lui s'est chargé du débogage et de la correction des erreurs. L'environnement est standard : PyTorch pour CPU, transformers, sentence-transformers. Le premier lancement télécharge environ 940 Mo (l'enseignant DeepPavlov environ 700 Mo, turbo et tiny2 chacun 120 Mo), et le script lui-même s'exécute en deux minutes.
Il y a trois candidats. Les deux premiers, cointegrated/rubert-tiny2 et sergeyzh/rubert-tiny-turbo, ont chacun 3 couches, un vecteur de 312 dimensions et 29,4 M de paramètres. La différence est que turbo a été entraîné en plus à comparer des textes (apprentissage contrastif). Le troisième, DeepPavlov/rubert-base-cased-sentence, possède 12 couches et 768 dimensions, et joue le rôle d'enseignant.
Comment les modèles ont été comparés
La métrique s'appelle gap, l'écart : la similarité moyenne des paires de même sens moins la similarité moyenne des paires de sens différent. Plus l'écart est grand, mieux le modèle sépare les sens. Le jeu de test est minuscule, seulement 10 paires : 4 paraphrases (« le chat est assis sur la chaise » et « le matou s'est installé sur la chaise »), 3 paires avec une négation ou une action contraire, et 3 paires sur des sujets sans rapport, comme le bortsch et le théorème de Pythagore.
L'auteur souligne qu'il s'agit d'une exploration pour choisir la couche et la méthode d'agrégation des tokens en un seul vecteur (mean, CLS, max, last-token), et non d'une évaluation de la qualité. Il mesurera la qualité plus tard, sur 590 paires de validation et un jeu externe de 5000 paires.
Les meilleures combinaisons sont les suivantes :
- tiny2 : couche L2 avec CLS, écart de 0,064 ;
- turbo : couche L2 avec la moyenne des tokens, écart de 0,125 ;
- DeepPavlov : couche L11 avec la moyenne, écart de 0,329.
Turbo est presque deux fois meilleur que tiny2 à architecture égale : le préentraînement à la comparaison de textes a aidé, alors que tiny2 reste un modèle de base entraîné à deviner des mots manquants. L'enseignant est environ 2,5 fois plus performant que turbo. L'auteur ne cherche pas à le rattraper en sémantique absolue ; il suffit de s'en approcher pour que la recherche et la suppression des doublons fonctionnent.
La cécité face à la négation
La principale découverte n'est pas la taille, mais le fait que l'enseignant remarque à peine le mot « ne ». Similarité sur les paires de sens opposé :
- « il a trouvé un travail » et « il n'a pas trouvé de travail » — 0,578 (environ 58 %) ;
- « j'aime les chats » et « je n'aime pas les chats » — 0,702 (environ 70 %) ;
- « le médecin a prescrit le traitement » et « le médecin a annulé le traitement » — 0,655 (environ 66 %).
L'auteur explique cela ainsi. Le modèle de base a appris à restaurer des mots manquants, et la contribution d'un mot court y est diluée. La moyenne sur les tokens l'affaiblit encore davantage. En pratique, le seuil de déduplication se déclenche à tort : des enregistrements de sens opposé sont considérés comme des doublons. La recherche fait alors remonter le « contraire » en tête de résultats. Pour la psychothérapie, le droit et la médecine, c'est dangereux : « médicament prescrit » et « médicament suspendu » ne doivent pas être fusionnés.
L'auteur a choisi turbo comme élève. Son écart est déjà plus élevé, donc il suffit d'adapter la sémantique plutôt que de tout apprendre depuis zéro. On ne prend que l'encodeur, la moyenne native est remplacée par un mécanisme d'attention personnalisé (Attention Pooling), et les représentations issues de l'apprentissage comparatif sont conservées. L'auteur compte corriger la négation par un apprentissage contrastif sur un jeu de paires difficiles.
Que retenir
Avant de choisir un embedder, constituez votre propre mini-jeu de 10 à 20 paires : négations, antonymes, remplacement de verbe. Cela prend environ une heure et révèle le problème avant la mise en production. Ne considérez pas automatiquement qu'un grand modèle est meilleur : son angle mort face à « ne » peut tout aussi bien exister.
Les limites sont évidentes. Dix paires sont trop peu pour conclure sur la qualité, et l'auteur le reconnaît lui-même. Les chiffres valent pour son jeu de données et ne se reproduiront pas forcément sur les vôtres. Le résultat de la distillation n'apparaîtra que dans les prochaines parties, il est donc trop tôt pour en juger. Mais la méthode de choix de la base est transparente, et le test sur les négations sera utile dans tout projet de recherche sémantique.
- 21 nov. 2026Les géants technologiques chinois ont doublé leurs dépenses en IA à 139 milliards de dollars, mais leurs laboratoires couvrent moins de 8 % de ces coûts
- 21 nov. 2026L'agent Skein efface les étapes passées du contexte : 97 % de réussite, mais plus cher qu'OpenCode
- 21 nov. 2026Le moteur SGLang avec les noyaux Humming accélère le premier token de 7 à 23 %, la génération de 17 à 34 %
- 21 nov. 2026Inkling 2 Mini, ouverte et exploitable sur 16 Go de mémoire, rattrape Qwen3.8-27B dans un classement indépendant
Questions clés sur cet article
Que sait-on sur Ce que fait l'auteur et pourquoi ?
La méthode s'appelle la distillation : un petit « élève » apprend à reproduire le comportement d'un grand « enseignant », afin de fonctionner vite et sur un processeur ordinaire, sans GPU. L'auteur précise d'emblée qu'il n'est pas programmeur : tout le code a été écrit par le réseau de neurones DeepSeek, et lui s'est chargé du débogage et de la correction des erreurs. L'environnement est standard : PyTorch pour CPU, transformers, sentence-transformers.
Comment les modèles ont été comparés?
La métrique s'appelle gap, l'écart : la similarité moyenne des paires de même sens moins la similarité moyenne des paires de sens différent. Plus l'écart est grand, mieux le modèle sépare les sens. Le jeu de test est minuscule, seulement 10 paires : 4 paraphrases (« le chat est assis sur la chaise » et « le matou s'est installé sur la chaise »), 3 paires avec une négation ou une action contraire, et 3 paires sur des sujets sans rapport, comme le bortsch et le théorème de Pythagore.
Que sait-on sur La cécité face à la négation ?
La principale découverte n'est pas la taille, mais le fait que l'enseignant remarque à peine le mot « ne ». Similarité sur les paires de sens opposé : « il a trouvé un travail » et « il n'a pas trouvé de travail » — 0,578 (environ 58 %) ; « j'aime les chats » et « je n'aime pas les chats » — 0,702 (environ 70 %) ; « le médecin a prescrit le traitement » et « le médecin a annulé le traitement » — 0,655 (environ 66 %). L'auteur explique cela ainsi.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.