Le bruit dans les embeddings ne protège pas les données : 100 paires connues révèlent ~90 % des documents

Stocker dans une base vectorielle des embeddings auxquels on a ajouté du bruit rend certes difficile la reconstruction du texte d'origine, mais ne protège pas pour autant les données. L'auteur de l'étude, publiée sur Habr, a construit un banc d'essai qui mesure la reconnaissance : à partir d'une entrée protégée et d'un ensemble de documents connus, il détermine à quel document l'entrée appartient. Huit schémas de protection ont été testés.

Dans la comparaison principale, l'attaquant connaît 1000 paires « document — entrée » parmi les 5183 documents de la collection SciFact (environ 19 %). Or 100 paires connues suffisent, soit 2 % du corpus, pour reconnaître environ 90 % des documents. Le bruit gaussien laisse 99,9 % des entrées reconnaissables, même lorsque la qualité de la recherche a été divisée par deux.

Ce qui a été testé, et dans quelles conditions

Le travail sur vec2text (une attaque qui reconstruit un texte à partir de son embedding) proposait trois protections : le bruit, la compression par product quantization (PQ) et une transformation linéaire secrète. D'après ses données, le bruit annule la reconstruction exacte du texte, tandis que la qualité de la recherche souffre à peine : 0,748 contre 0,730 en top-10. L'auteur relève que reconstruire un texte et reconnaître une entrée parmi des documents connus sont deux tâches différentes.

Une protection peut réussir le premier test et échouer au second. Pour une documentation publique, des articles scientifiques ou des bases déjà fuitées, la seconde tâche est réaliste : l'attaquant n'a pas besoin de textes inconnus, il lui suffit de rapprocher les entrées de documents qu'il possède déjà.

Le banc d'essai compte huit schémas : bruit gaussien, bruit après rotation secrète, SAP/DCPE (bruit uniforme dans une boule ; implémenté d'après l'algorithme 2 de l'article de Fuchsbauer et al., SCN 2022), LSH binaire, projection aléatoire, PQ, non-linéarité secrète et quantification k-anonyme. Les tests ont porté sur deux collections BEIR (SciFact — 5183 documents, NFCorpus — 3633) et deux modèles : all-MiniLM-L6-v2 et bge-small-en-v1.5. L'attaquant ajuste par moindres carrés une application linéaire qui ramène les entrées protégées dans l'espace des embeddings. Des auto-vérifications menées sans aucune protection ont révélé deux erreurs : k-means modifiait le partitionnement lors de la mise à l'échelle, et 2,2 % de NFCorpus étaient des doublons, exclus du décompte.

Les chiffres : le bruit échoue, la perte d'information fonctionne

Au point où la qualité de la recherche a été divisée par deux, 99,9 % des entrées sont reconnues avec le bruit gaussien, 99,2 % avec la rotation plus bruit et 98,7 % avec SAP/DCPE. Le LSH binaire atteint 81,1 %, la projection aléatoire 60,8 % et PQ 27,0 %. La non-linéarité secrète tanh(gain · Qv) n'a rien changé : 100 % sur toute la plage du paramètre, avec une qualité de recherche supérieure à 90 %. La forme du bruit ne joue aucun rôle : le bruit uniforme dans une boule, le gaussien ordinaire et le gaussien après rotation donnent des courbes presque identiques.

La rotation secrète ne met en échec que l'attaque naïve : la correspondance par cosinus tombe de 100 % à 0,0 %, tandis que l'alignement linéaire donne toujours 100 %. L'attaquant n'a besoin que de peu : avec un réglage à ~80 % de qualité, 100 paires connues (2 % du corpus) permettent de reconnaître 91 % des entrées avec SAP, 89 % avec le bruit gaussien, 88 % avec la rotation, 72 % avec la projection, 61 % avec le LSH et 37 % avec PQ. Avec 200 paires, les schémas à base de bruit atteignent 98–100 %.

PQ s'est révélé le meilleur des schémas testés, mais il n'est pas gratuit. Dans les régimes de haute précision auxquels renvoie l'article sur vec2text, la reconnaissance est quasi totale : 192 sous-vecteurs — 100 %, 48 — 100 %, 32 — 99,8 %. Elle ne passe sous 50 % qu'avec une compression à 4 octets par vecteur (9,7 % pour 41 % de qualité) ; à 8 octets, 44,5 % des entrées sont reconnues et la qualité tombe à 59 %.

Le résultat dépend aussi du corpus : à 50 % de qualité, 27,0 % et 25,4 % des entrées sont reconnues sur SciFact, contre 1,6 % et 1,7 % sur NFCorpus. L'auteur avance l'hypothèse qu'un corpus thématiquement homogène (nutrition et médecine) agglomère des documents proches sous des codes identiques. La protection serait alors un effet secondaire des données, et non une propriété du schéma.

Pour obtenir une borne démontrable, l'auteur a conçu une quantification k-anonyme : les documents sont regroupés par lots d'au moins k, et chaque lot est stocké sous la forme d'un seul vecteur commun. Pour k=2, la borne de reconnaissance est de 29,8 % et la valeur mesurée de 8,3 % ; pour k=3, la borne est de 16,5 % et la valeur mesurée de 0,5 %. Mais en termes de qualité, cette implémentation fait moins bien que PQ : à 8,3 % de reconnaissance, il reste 34 % de qualité, contre 41 % pour PQ avec m=4 à 9,7 %.

En cause, des groupes déséquilibrés (minimum 2, médiane 3, moyenne 6,2) : le plus petit groupe fixe la borne, tandis que la longue traîne de gros groupes consomme la qualité. L'auteur n'a pas testé d'affectation équilibrée.

Limites du résultat et conclusion pratique

Le banc d'essai mesure uniquement la reconnaissance parmi des candidats connus, et non la reconstruction d'un texte inconnu. Les 8 schémas sont tous géométriques, de sorte qu'une application inverse existe. Le banc ne peut pas attaquer le chiffrement homomorphe, le PIR, le calcul multipartite sécurisé ni l'ORAM : la conclusion « rien ne fonctionne » est donc fausse. L'échantillon est restreint : deux collections, deux modèles, tout en anglais, un seul export sans observation des requêtes. L'expérience avec vec2text sur le texte intégral s'est révélée peu concluante : 45,9 % en token-F1 et 0 % de correspondances exactes, même sur des embeddings propres.

En pratique, cela implique ce qui suit. La protection des embeddings doit être évaluée par la reconnaissance sur un corpus proche du vôtre, et pas seulement par la reconstruction du texte. Une transformation secrète employée seule est inutile si l'attaquant peut disposer de quelques centaines de paires connues. Si une protection est nécessaire, il faudra la payer en qualité de recherche, par exemple avec PQ à forte compression. Quant aux données qui ne doivent pas sortir, le plus simple est de ne pas les transmettre du tout : gardez le modèle et la base chez vous.

Observation annexe : bge-small-en-v1.5 (nDCG@10 = 72,0 sur SciFact) perd la moitié de sa qualité à 100 % de bruit relatif, tandis que le modèle plus faible all-MiniLM-L6-v2 (64,5) en supporte 150 %. Les calculs tournent sur un processeur classique, la vectorisation de la collection prend environ 5 minutes sur deux cœurs, et le code est publié sur GitHub dans le dépôt semantic-cryptography.