Distillation des modèles de langage : peut-on prouver le vol de connaissances via le chat

Dans le monde des grands modèles de langage, un conflit se dessine qui ressemble aux guerres de brevets en pharmacie—sauf qu'au lieu de molécules, c'est la connaissance emballée dans des milliards de paramètres qui est volée. Une recherche récente publiée sur Habr pose une question provocatrice : est-il possible, en conversant simplement avec un modèle de langage dans un chat, de déterminer qu'il a été entraîné par distillation sur les données de sortie d'un autre modèle ? L'auteur croit que oui. Et s'il a raison, cela change les règles du jeu pour toute l'industrie.

Pour comprendre le contexte, il faut revenir au scandale qui a éclaté quelques mois plus tôt. Anthropic—les créateurs de Claude—a accusé publiquement des développeurs chinois de distiller systématiquement leur modèle. L'essence des accusations était que des ingénieurs de Chine utilisaient massivement l'API Claude, collectant ses réponses pour entraîner leurs propres modèles. Anthropic a affirmé avoir découvert cela par la surveillance des comptes : en analysant les modèles de requêtes, l'historique d'utilisation et les connexions des comptes avec des entreprises chinoises. La base de preuves a été construite au niveau de l'infrastructure—qui, quand et combien de requêtes ont été envoyées.

Mais l'auteur de la recherche a pris un chemin complètement différent. Il s'est demandé : et si les preuves étaient cachées non pas dans les journaux du serveur, mais dans le modèle lui-même ? La distillation est un processus dans lequel un petit modèle élève est entraîné à reproduire le comportement d'un grand modèle maître.

Essentiellement, c'est une compression des connaissances : au lieu d'entraîner un modèle sur des téraoctets de données brutes, le développeur le nourrit avec des réponses toutes prêtes d'un système plus puissant. Le modèle élève adopte non seulement les faits, mais aussi les caractéristiques stylistiques, les chaînes logiques, les tournures caractéristiques et même les erreurs du maître. C'est précisément ces traces—une sorte d'« empreintes digitales »—que le chercheur a tenté de détecter par ce qu'on appelle l'auto-rapport du modèle.

La méthodologie semble élégante dans sa simplicité. Si un modèle a été entraîné sur les réponses de Claude, il peut involontairement reproduire des modèles caractéristiques de Claude : des formulations spécifiques de refus, une structure de raisonnement reconnaissable, certains cadres éthiques qu'Anthropic intègre dans son produit. C'est similaire à la façon dont un linguiste peut déterminer d'où vient une personne par sa manière de parler—sauf qu'ici nous parlons de la « région d'entraînement » d'un réseau de neurones. L'auteur de la recherche affirme avoir découvert de tels marqueurs, bien qu'il fasse une mise en garde importante : les résultats sont préliminaires et ne peuvent servir de preuve légale.

Cette mise en garde n'est pas simplement une politesse de routine, mais le reflet d'un problème fondamental. Les modèles de langage restent en grande partie des boîtes noires même pour leurs créateurs. Personne ne peut affirmer avec certitude absolue pourquoi un modèle a produit exactement cette réponse. La coïncidence de modèles stylistiques pourrait être le résultat de la distillation, ou pourrait être une conséquence de l'entraînement sur des données similaires provenant de sources ouvertes. Deux modèles entraînés sur les mêmes articles scientifiques et livres se ressembleront inévitablement, et cela n'a rien à voir avec le vol de propriété intellectuelle.

Néanmoins, la direction de la recherche elle-même est extrêmement prometteuse. L'industrie a urgemment besoin d'outils pour vérifier l'origine des modèles. Aujourd'hui, le marché est inondé de modèles open-source, dont beaucoup gèrent soupçonneusement bien les tâches qui théoriquement nécessitent des ressources informatiques considérablement plus importantes. Si les méthodes d'« expertise linguistique » pour les réseaux de neurones sont perfectionnées, cela pourrait devenir la base d'une nouvelle direction—la criminalistique de l'IA, la criminalité numérique dans le monde de l'intelligence artificielle.

Pour de grands laboratoires comme OpenAI, Anthropic et Google DeepMind, les enjeux sont colossaux. L'entraînement des modèles de frontière coûte des centaines de millions de dollars, et si les concurrents peuvent atteindre une qualité comparable pour une fraction de ces coûts par la distillation, tout le modèle économique s'effondre. Ce n'est pas une coïncidence si les conditions d'utilisation de la plupart des grands fournisseurs contiennent déjà des interdictions explicites sur l'utilisation des données de sortie pour entraîner des modèles concurrents. Mais une interdiction sans mécanisme pour détecter les violations n'est que des paroles en l'air.

La recherche, malgré sa nature préliminaire, pointe vers un avenir où les modèles porteront des traces indélébiles de leur origine. Peut-être qu'avec le temps, les développeurs commenceront à intégrer délibérément des filigranes cachés dans leurs modèles—des modèles uniques de réponses qui ne peuvent pas être supprimés par distillation. Certaines entreprises expérimentent déjà de telles techniques. Si ces méthodes deviennent fiables, le monde du développement de l'IA gagnera quelque chose qui lui manque cruellement maintenant : un mécanisme de responsabilité. Pour l'instant, l'industrie équilibre une ligne mince entre l'échange ouvert de connaissances et la protection des investissements—et cette ligne devient de plus en plus mince avec chaque mois qui passe.