La réécriture des données surpasse DP-SGD sur l'équilibre entre confidentialité et qualité

Les équipes qui entraînent des modèles sur des textes médicaux, financiers ou autrement sensibles choisissent généralement entre deux mauvaises options : affiner directement le modèle et risquer une fuite, ou activer la confidentialité différentielle et accepter une perte de qualité. Un nouvel article publié sur Hugging Face Daily Papers propose une troisième voie et la teste dans une expérience contrôlée. Les auteurs ont comparé des interventions au niveau des données et au niveau de l'entraînement sur des dossiers médicaux synthétiques. Le meilleur équilibre entre capacités et confidentialité vient de la génération de données synthétiques, où un modèle réécrit les dossiers et remplace les détails personnels uniques.

Comment la fuite a été mesurée : des « canaris » dans les dossiers médicaux

Pour que la comparaison soit équitable, les chercheurs ont constitué un jeu de dossiers médicaux synthétiques et y ont inséré des « canaris ». Ce sont des fragments uniques, connus à l'avance, qui ne devraient pas figurer dans des données normales. Si, après l'entraînement, le modèle les reproduit ou affiche une confiance anormalement élevée à leur égard, c'est qu'il a mémorisé des exemples d'entraînement. Cette approche donne une évaluation empirique de la confidentialité : non pas une garantie théorique, mais un risque observé. La qualité du modèle est mesurée séparément, avec des métriques de capacités.

La comparaison porte sur trois familles d'approches :

• le fine-tuning direct sur les dossiers d'origine ;
• DP-SGD, c'est-à-dire l'entraînement par descente de gradient différentiellement privée ;
• l'entraînement sur des données synthétiques dérivées des dossiers d'origine : d'abord par simple paraphrase, puis par réécriture tenant compte de la confidentialité.

Là où le choix habituel craque

Sans surprise, le fine-tuning direct arrive en tête pour les capacités et produit, tout aussi logiquement, la fuite la plus importante. Un modèle qui a vu les données telles quelles les exploite au mieux, et les mémorise au mieux.

DP-SGD va dans le sens inverse. Les fuites baissent nettement, mais le prix est élevé : les capacités chutent de manière substantielle. En pratique, l'arbitrage est inconfortable, surtout quand le modèle doit manier la terminologie médicale et des détails fins. C'est pourquoi DP-SGD reste souvent un étalon académique et arrive plus rarement dans les produits.

Les données synthétiques occupent une position intermédiaire, et plutôt avantageuse. La formulation de la tâche confiée au modèle réécrivain joue un rôle clé. Si on lui demande simplement de paraphraser un dossier, une partie des détails uniques survit à la paraphrase et peut fuiter plus tard. Si l'on ajoute une instruction qui tient compte du caractère unique des informations et remplace précisément les détails qui identifient un cas donné, la protection progresse. Les auteurs montrent que la réécriture privée améliore la protection par rapport à la paraphrase naïve, avec différents modèles réécrivains. L'effet n'est pas lié à un modèle en particulier.

Plus le réécrivain est puissant, moins le risque est élevé, mais la

relation n'est pas linéaire

Une autre observation concerne le modèle qui réécrit les données. Plus il est capable, plus le risque de fuite est en moyenne faible pour le modèle entraîné sur ses données synthétiques. C'est logique : un modèle puissant comprend mieux quels détails sont uniques et les remplace plus soigneusement, tout en conservant la structure utile du texte.

Mais la relation n'est pas monotone. La qualité sur données mises de côté (held-out fit) ne progresse pas strictement avec la puissance du réécrivain. Et les calculs supplémentaires au moment de l'inférence apportent un gain instable. On ne peut pas simplement brancher un puissant modèle de raisonnement sur la chaîne de traitement en espérant améliorer à la fois la confidentialité et l'utilité. Il faudra valider la configuration sur les données.

Que faire pour les équipes qui travaillent avec des données sensibles

Pour ceux qui préparent des jeux de données d'entreprise ou médicaux, la conclusion pratique est la suivante :

• Le fine-tuning direct sur des enregistrements bruts ne se justifie que lorsque la fuite n'est pas critique ou que les données sont déjà anonymisées.
• Si une garantie formelle est nécessaire, DP-SGD reste une option, mais il faudra prévoir d'emblée une marge pour la perte de qualité.
• Dans la plupart des cas d'usage, il est raisonnable de commencer par un pipeline « réécrire, puis entraîner », avec une instruction explicite de remplacer les détails uniques plutôt que de simplement paraphraser.
• Le modèle réécrivain doit être choisi d'après les résultats d'un audit avec « canaris », et non d'après sa taille ou des classements. Il faut vérifier à la fois la fuite et la qualité sur un échantillon mis de côté.

L'étude se limite à des dossiers médicaux synthétiques, et son transfert à de vrais textes cliniques demandera une vérification distincte. Mais les auteurs proposent aussi un cadre d'évaluation reproductible, sur lequel on pourra comparer les futurs modèles et méthodes. Dans un domaine où la confidentialité se discute le plus souvent au niveau des déclarations, c'est un outil utile : il permet de mesurer la fuite comme on mesure depuis longtemps la qualité.