Des auteurs testent 8 exemples pour voir ce qui reste dans le texte après masquage, avant envoi à un LLM

Huit textes artificiels, une liste prédéfinie de « résidus » et deux modules du pipeline que l'on peut désactiver. Voilà la matière d'une analyse publiée sur Habr à propos de la vérification du masquage des données personnelles avant l'envoi d'un texte à un LLM. La thèse de départ : supprimer le nom complet ne suffit pas. Si un numéro figurant dans un registre public reste à proximité, la personne peut quand même être identifiée.

La publication n'est pour l'instant disponible que sous forme d'annonce. Ce qui suit expose ce qu'elle annonce et la logique de l'approche. Les résultats chiffrés du texte complet ne sont pas repris ici.

Le masque a caché le nom, pas la personne

Le schéma typique est le suivant. Avant la requête vers un modèle externe, le texte passe par un masqueur. Celui-ci remplace noms complets, numéros de téléphone et adresses par des marqueurs tels que [PERSON] ou [PHONE]. L'équipe note ensuite que les données personnelles ont été supprimées.

Mais le nom n'est pas la seule chose qui identifie une personne. Un numéro d'entrepreneur individuel, un INN (identifiant fiscal), un numéro de procédure judiciaire, une plaque d'immatriculation, un numéro de contrat peuvent mener à un individu précis via des registres et des fichiers publics. Si le masqueur est réglé pour les noms et les téléphones, ces valeurs passent sans être touchées. Le modèle, le journal de requêtes et le prestataire tiers reçoivent des données formellement « anonymisées », mais qui ne le sont pas en réalité.

Les auteurs proposent de changer de question. Au lieu de se demander ce que le masqueur a trouvé, ils vérifient ce qui reste dans le texte après son passage.

Comment fonctionne la vérification

L'approche repose sur un jeu de données petit mais reproductible. Les paramètres de l'expérience, tels qu'ils sont annoncés :

• 8 exemples synthétiques ; l'échantillon ne contient aucune donnée personnelle réelle ;
• une liste prédéfinie de résidus : des valeurs qui ne doivent pas figurer dans le texte de sortie ;
• comparaison de la sortie du masqueur avec cette liste, c'est-à-dire un contrôle sur le résultat effectif et non sur le rapport du détecteur ;
• une expérience avec la normalisation désactivée ;
• une expérience avec la reconnaissance des noms désactivée.

Ces deux derniers modes ne sont pas choisis au hasard. La normalisation ramène le texte à une forme uniforme : elle supprime les espaces et tirets superflus dans les numéros, uniformise la casse et réduit plusieurs graphies d'une même valeur à une seule. Sans elle, une règle ou un dictionnaire peuvent laisser passer un numéro écrit légèrement différemment du modèle. La reconnaissance des noms s'occupe des noms complets absents des dictionnaires, ainsi que des déclinaisons et des formes d'écriture comme « Ivanovu A. P. ». En désactivant l'un des modules, on voit quelle part de la protection il assurait. Combien exactement, les chiffres de l'analyse complète le montreront.

Les limites de la méthode

Huit exemples valent comme démonstration et test de régression, mais pas comme benchmark. Un tel échantillon ne permet pas de juger le rappel ni la précision du masqueur sur un flux réel. Les données synthétiques sont généralement plus propres que les données réelles : elles comptent moins de fautes de frappe, moins de bruit d'OCR, moins d'extraits de transcriptions d'appels et moins de mélanges de langues. La liste prédéfinie limite aussi le contrôle : il ne trouvera que ce qu'on y a inscrit. Un identifiant inattendu, auquel l'équipe n'a pas pensé, passera inaperçu.

L'approche a aussi un point fort. Elle transforme le vague « nous masquons les données » en affirmation vérifiable, avec une liste précise et un résultat précis.

Comment l'appliquer chez soi

Pour transposer l'idée à votre projet, cinq étapes sont nécessaires :

• dressez la liste des identifiants qui, dans votre domaine, mènent à une personne via des sources ouvertes, sans vous limiter aux noms et aux téléphones ;
• constituez un corpus synthétique avec différents formats d'écriture d'un même numéro ;
• faites tourner le pipeline en mode complet, puis avec chaque module désactivé tour à tour, pour comprendre l'apport de chacun ;
• intégrez le contrôle des résidus à la CI, afin que toute modification de règles ou tout changement de modèle de reconnaissance y soit soumis ;
• ajoutez périodiquement au corpus des exemples issus de défaillances réelles, anonymisés dans leur structure.

Le masquage reste une mesure d'ingénierie, pas un avis juridique. La question de savoir s'il suffit pour satisfaire à la loi sur les données personnelles se tranche séparément. Mais sans contrôle des résidus, même un masqueur correctement configuré reste une hypothèse non vérifiée.