Live 18/11 · Cohorte 318 nov à 19h00 MSK — atelier pratique gratuit sur les agents IA · La Cohorte 3 démarre le 23/11Atelier 18/11 →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarHabr AI→ original

Le fine-tuning d'un modèle NER fait passer la part de secrets commerciaux entièrement masqués de 39,5% à 91,8%

Dans un CRM, une remise de 12% peut être un secret ou une condition publique, et seul le premier cas doit être masqué. Un auteur a affiné GLiNER (287 millions de paramètres), un modèle NER qui repère un fragment de texte et détermine son type. La part de secrets entièrement masqués est passée de 39,53% à 91,84%, et les faux masques sur les mentions publiques sont tombés à 8 sur 575, contre 368 auparavant. Pour les conditions qui dépendent du contexte, mieux vaut affiner un modèle compact sur ses propres données.

Traité par IA depuis Habr AI ; édité par Hamidun News
Le fine-tuning d'un modèle NER fait passer la part de secrets commerciaux entièrement masqués de 39,5% à 91,8%
Source : Habr AI. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireHabr AI ↗
Rédacteur en chef
Chiffre clé #1Le F1 exact, qui exige la concordance du type et des frontières, est passé de 22,51% à 94,13%
Le corpus est synthétique5 000 textes pour l'entraînement, 1 000 pour le test
Chiffre clé #3LoRA entraîne 589 824 paramètres, soit environ 0,21% du modèle

Imaginez un CRM dans lequel les commerciaux consignent depuis des années des notes sur leurs contrats. Avant de les confier à un prestataire, de les envoyer vers l'analytique ou de les glisser dans le prompt d'un grand modèle, il faut masquer les conditions confidentielles. Le problème : une même valeur peut être un secret ou une information publique.

Dans la note « remise de 12% convenue avec le client, conditions non publiques », le chiffre 12% doit être caché. Dans la phrase « la remise de 12% s'applique à tous les acheteurs », il ne faut pas y toucher. Les expressions régulières n'y peuvent rien : c'est le contexte qui décide, pas le format.

Sur Habr, l'auteur a affiné pour cette tâche le modèle GLiNER, de la classe NER (reconnaissance d'entités nommées : trouver un fragment de texte et déterminer son type). Sur un court test synthétique, la part de secrets masqués en entier est passée de 39,53% à 91,84%. Les mentions publiques masquées par erreur ne sont plus que 8 sur 575, contre 368.

La métrique Exact F1, qui exige que le type et les frontières du fragment coïncident exactement avec la référence, est passée de 22,51% à 94,13%. Si vous nettoyez vos données avant de les envoyer à un LLM, l'expérience montre ce qu'apporte un fine-tuning sur son propre domaine.

Ce qui a été entraîné, et sur quoi

L'auteur est parti de fastino/gliner2.5-multi-v1 : environ 287 millions de paramètres, encodeur mDeBERTa. On fournit au modèle, avec le texte, les noms et les descriptions des types recherchés. Un même schéma de six types d'entités peut donc être exécuté avant comme après l'entraînement. Le modèle renvoie les fragments trouvés, leurs types et des scores de confiance. Le JSON et le texte final masqué sont produits par du code classique, qui remplace les fragments de droite à gauche pour que la longueur d'un masque déjà inséré ne décale pas les coordonnées des autres.

L'auteur a défini à l'avance les frontières d'un secret. Si un accord de bonus est confidentiel, il faut masquer « 3% du chiffre d'affaires annuel pour un achat à partir de 500 unités », et pas seulement « 3% ». Dans un échéancier de paiement, le masque couvre à la fois les parts et les délais.

Tous les textes sont fictifs. Le corpus de 6 500 entrées est réparti ainsi : 5 000 pour l'entraînement, 500 pour choisir la version des poids et le seuil de confiance, et 1 000 pour la vérification finale. Les textes sont assemblés par un générateur à partir de 336 composants. Un quart des documents ne contient aucun secret, et certaines paires contrastées présentent une même valeur tantôt non publique, tantôt publiée. L'entraînement s'est déroulé sur une seule RTX 3090 de 24 Go : trois époques, batch effectif de 16.

Fine-tuning complet, LoRA et seuil de confiance

L'auteur a comparé le fine-tuning complet à LoRA, DoRA, rsLoRA et QLoRA. Dans la recette retenue, les adaptateurs LoRA ne sont placés que sur encoder.query et encoder.value. L'entraînement porte sur 589 824 paramètres, soit environ 0,21% du modèle de base ; les autres poids restent gelés.

La version des poids et le seuil ont été choisis sur une partie dev distincte, et le test n'est pas intervenu dans le choix des réglages. Pour le fine-tuning complet, c'est la deuxième époque avec un seuil de confiance de 95% qui l'a emporté ; pour LoRA, la troisième époque avec un seuil de 90% ; pour rsLoRA, la première avec un seuil de 90%. Le critère était un micro-F1 strict. À valeur égale, l'auteur a préféré la variante qui produit le moins de faux masques sur les valeurs publiques.

Dans des vérifications complémentaires, l'auteur a remplacé l'annotation d'origine par des étiquettes produites par DeepSeek et entraîné un GLiNER distinct. Il a aussi ajouté Qwen et Gemma dotés de têtes NER et testé tous les détecteurs sur des documents longs. Dans la partie accessible du texte, les résultats de ces vérifications ne figurent pas ; on ne peut donc pas s'en servir pour comparer les approches.

Limites et conséquences pratiques

Il faut lire ces chiffres avec prudence. Toutes les données sont synthétiques et il n'y a pas eu d'annotation experte indépendante. Les variantes de textes proviennent de familles liées, et non de rédacteurs différents. Sur de vraies conversations, avec fautes de frappe et jargon, le résultat peut être inférieur.

Pour les équipes qui masquent leurs données avant un LLM, la conclusion pratique est la suivante :

  • Commencez par écrire une politique : ce qui est considéré comme un secret et où passent les frontières du fragment.
  • Laissez les noms de clients, les noms d'entreprises et les numéros de téléphone aux dictionnaires et aux expressions régulières.
  • Confiez les conditions rédigées en texte libre à un modèle compact, affiné sur votre propre contexte. Il tient sur une seule carte graphique grand public.

L'auteur a publié dans le dépôt associé les données, les configurations et un exemple d'exécution sur son propre JSONL.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qui a été entraîné, et sur quoi ?

L'auteur est parti de fastino/gliner2.5-multi-v1 : environ 287 millions de paramètres, encodeur mDeBERTa. On fournit au modèle, avec le texte, les noms et les descriptions des types recherchés. Un même schéma de six types d'entités peut donc être exécuté avant comme après l'entraînement. Le modèle renvoie les fragments trouvés, leurs types et des scores de confiance.

Que sait-on sur Fine-tuning complet, LoRA et seuil de confiance ?

L'auteur a comparé le fine-tuning complet à LoRA, DoRA, rsLoRA et QLoRA. Dans la recette retenue, les adaptateurs LoRA ne sont placés que sur encoder.query et encoder.value. L'entraînement porte sur 589 824 paramètres, soit environ 0,21% du modèle de base ; les autres poids restent gelés. La version des poids et le seuil ont été choisis sur une partie dev distincte, et le test n'est pas intervenu dans le choix des réglages.

Que sait-on sur Limites et conséquences pratiques ?

Il faut lire ces chiffres avec prudence. Toutes les données sont synthétiques et il n'y a pas eu d'annotation experte indépendante. Les variantes de textes proviennent de familles liées, et non de rédacteurs différents. Sur de vraies conversations, avec fautes de frappe et jargon, le résultat peut être inférieur.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…