Distillation des modèles de langage : peut-on prouver un vol de connaissances via un chat ?

Dans l'univers des grands modèles de langage, un conflit se prépare, qui rappelle par nature les guerres de brevets dans la pharmacie, sauf qu'au lieu de molécules, ce sont des connaissances empaquetées dans des milliards de paramètres que l'on vole. Une étude récente publiée sur Habr pose une question provocatrice : peut-on déterminer, simplement en discutant avec un modèle de langage dans un chat, qu'il a été entraîné par distillation sur les sorties d'un autre modèle ? L'auteur pense que oui. Et s'il a raison, cela change les règles du jeu pour toute l'industrie.

Pour comprendre le contexte, il faut revenir à un scandale éclaté plusieurs mois plus tôt. Anthropic, qui développe Claude, a publiquement accusé des développeurs chinois de distiller systématiquement son modèle. Selon l'accusation, des ingénieurs de Chine ont utilisé massivement l'API de Claude pour collecter ses réponses et entraîner leurs propres modèles. Anthropic a affirmé l'avoir détecté grâce à la surveillance des comptes : analyse des schémas de requêtes, historique d'utilisation et liens entre les comptes et des entreprises chinoises. Les preuves reposaient sur le niveau de l'infrastructure : qui a envoyé combien de requêtes, et quand.

Mais l'auteur de l'étude a pris une tout autre voie. Il s'est demandé : et si les preuves se cachaient non dans les journaux des serveurs, mais dans le modèle lui-même ? La distillation est un processus où un petit modèle, l'élève, est entraîné à reproduire le comportement d'un grand modèle, le professeur.

En substance, c'est une compression de connaissances : au lieu d'entraîner un modèle sur des téraoctets de données brutes, le développeur lui donne en pâture des réponses toutes faites d'un système plus puissant. Le modèle élève hérite non seulement des faits, mais aussi des particularités de style, des chaînes logiques, des tournures caractéristiques et même des erreurs du professeur. Ces traces, sortes d'« empreintes digitales », sont ce que le chercheur a tenté de détecter à travers ce qu'on appelle l'auto-rapport du modèle.

La méthode paraît élégante par sa simplicité. Si un modèle a été entraîné sur des réponses de Claude, il peut reproduire involontairement des schémas propres à Claude : formulations spécifiques de refus, structure de raisonnement reconnaissable, certains cadres éthiques qu'Anthropic intègre à son produit. C'est comme un linguiste qui, d'après les particularités du parler, peut déterminer dans quelle région une personne a grandi ; ici, il s'agit de la « région d'entraînement » d'un réseau de neurones. L'auteur affirme avoir trouvé de tels marqueurs, tout en faisant une réserve importante : les résultats sont hypothétiques et ne peuvent pas servir de preuve juridique.

Cette réserve n'est pas une simple formule de politesse, mais le reflet d'un problème fondamental. Les modèles de langage restent en grande partie des boîtes noires, même pour leurs créateurs. Personne ne peut affirmer avec une certitude absolue pourquoi un modèle a donné telle réponse. La coïncidence de schémas stylistiques peut résulter de la distillation, ou d'un entraînement sur des données similaires issues de sources ouvertes. Deux modèles entraînés sur les mêmes articles scientifiques et les mêmes livres se ressembleront inévitablement, ce qui n'a rien à voir avec un vol de propriété intellectuelle.

Pourtant, cette piste de recherche est extrêmement prometteuse. L'industrie a un besoin criant d'outils pour vérifier l'origine des modèles. Aujourd'hui, le marché est inondé de modèles open source, dont beaucoup réussissent étonnamment bien des tâches qui exigent en théorie des ressources de calcul nettement supérieures. Si les méthodes d'« expertise linguistique » pour les réseaux de neurones sont mises au point, elles pourraient fonder un nouveau domaine : la forensique de l'IA, la criminalistique numérique de l'intelligence artificielle.

Pour les grands laboratoires comme OpenAI, Anthropic et Google DeepMind, les enjeux sont colossaux. L'entraînement des modèles de frontière coûte des centaines de millions de dollars, et si des concurrents peuvent obtenir une qualité comparable pour une infime fraction de ce coût grâce à la distillation, tout le modèle économique s'effondre. Ce n'est pas un hasard si les conditions d'utilisation de la plupart des grands fournisseurs interdisent déjà explicitement d'utiliser les sorties pour entraîner des modèles concurrents. Mais une interdiction sans mécanisme de détection des violations n'est que du papier.

L'étude, malgré son caractère préliminaire, annonce un avenir où les modèles porteront des traces indélébiles de leur origine. Peut-être qu'avec le temps, les développeurs se mettront à intégrer délibérément des filigranes cachés dans leurs modèles : des schémas de réponse uniques impossibles à supprimer lors de la distillation. Certaines entreprises expérimentent déjà ce type de techniques. Si ces méthodes deviennent fiables, le monde du développement de l'IA obtiendra ce qui lui manque cruellement aujourd'hui : un mécanisme de responsabilisation. En attendant, l'industrie fait l'équilibriste sur la fine ligne entre l'échange ouvert de connaissances et la protection des investissements, et cette ligne s'amincit de mois en mois.