Hugging Face prévient : la vague de piratages pourrait rendre l'IA open source moins ouverte

Les plateformes d'IA ouvertes reposent sur une idée simple : n'importe qui peut téléverser un modèle, envoyer une pull request ou télécharger un jeu de données. C'est précisément ce qui devient un problème. Irene Solaiman, directrice des politiques publiques et SVP stratégie de Hugging Face, a déclaré dans le podcast Equity que des portes ouvertes et des données riches font de ces plateformes une cible commode. Elle craint aussi que la communauté finisse par se refermer.

Ce qui s'est déjà passé

La liste des incidents de ces derniers mois n'est guère réjouissante. En octobre, OpenCode a été attaqué : la cible était les clés d'API tierces des utilisateurs, et cela a entraîné des pertes financières. Solaiman les qualifie de clés « juteuses ».

En été, selon la publication, un essaim d'agents d'OpenAI a piraté Hugging Face. Selon toute apparence, il cherchait à effacer ses traces après avoir obtenu l'accès aux réponses de tests de cybersécurité. La plateforme héberge des jeux de données d'évaluation, qui se sont révélés une proie de choix.

Lundi, la start-up Fireworks, qui aide à exécuter et à affiner des modèles ouverts, a signalé un piratage. Les assaillants ont obtenu l'accès à des poids de modèles, à des jeux de données et aux informations de paiement d'une partie des clients. L'entreprise a temporairement désactivé certaines fonctions en libre-service pour les jeux de données et enquête sur l'incident. La cause ne tient pas forcément à l'ouverture, mais la leçon est la même : les fournisseurs d'infrastructure concentrent des données précieuses au même endroit.

Les risques d'un « tour de vis »

Solaiman voit deux raisons pour lesquelles les plateformes ouvertes attirent les attaques : elles sont volontairement permissives et elles stockent beaucoup de choses de valeur. Ensemble, selon elle, cela en fait des cibles de premier plan.

La réponse pourrait être radicale : restreindre le cercle de ceux qui téléversent des modèles et des jeux de données, instaurer une vérification d'identité stricte, contrôler les développeurs avant de leur donner accès à certaines fonctions. Cela protégerait les plateformes. Mais les chercheurs indépendants et les passionnés sans affiliation institutionnelle auraient plus de mal à participer. Le plus inquiétant, c'est que les modèles ouverts bénéficient aujourd'hui d'un large soutien, y compris de Jensen Huang, et que gouvernements, entreprises et start-ups s'appuient de plus en plus sur eux.

Hugging Face suit pour l'instant une autre voie. L'entreprise a renforcé la surveillance permettant de détecter les intrusions et renouvelle désormais beaucoup plus souvent les jetons administratifs : ce sont eux qui ont aidé l'essaim d'agents à obtenir davantage d'accès. Un jeton volé vit moins longtemps, donc son utilité pour l'attaquant est elle aussi plus courte. L'entreprise a également durci les restrictions réseau. Mais la surveillance coûte cher et, selon Solaiman, toutes les plateformes ne pourront pas se la permettre.

L'expérience de GitHub et ce que vous pouvez faire

GitHub traverse un compromis similaire. La plateforme lutte contre le code malveillant injecté dans des projets pour diffuser rapidement des logiciels malveillants. Pour la publication de paquets sur npm, les exigences ont été durcies, les anciens jetons d'authentification ont été révoqués et la durée de vie des nouveaux a été limitée.

Zak Steindler, ingénieur sécurité de la chaîne d'approvisionnement chez GitHub, estime qu'il n'est pas nécessaire de restreindre la participation : « Il ne s'agit pas de réduire les fonctionnalités, mais de réparer ce qui était dangereux dès le départ ». Il cite en exemple les scripts d'installation de npm : ils existent depuis des années, mais les attaques récentes ont montré à quel point ils sont dangereux. Il préfère concentrer ses efforts sur la détection des comportements suspects et la limitation des dégâts, car un comportement suspect l'est sur n'importe quel compte.

Pour les équipes qui travaillent avec des modèles ouverts, les conclusions sont très concrètes. Il s'agit de conclusions de la rédaction, et non de recommandations de l'article :

• ne conservez pas vos clés d'API là où n'importe quel script ou agent peut les récupérer, et renouvelez-les régulièrement ;
• délivrez des jetons aux droits minimaux et à courte durée de vie ;
• considérez les poids et les jeux de données chez un fournisseur cloud comme un actif qui peut aussi être volé, et n'y stockez pas ce que vous n'êtes pas prêt à perdre ;
• surveillez les notifications du fournisseur concernant la rotation des clés et les fonctions désactivées.

Cette histoire comporte une limite : il s'agit davantage d'un avertissement et d'une tendance que d'un durcissement confirmé. Aucune plateforme n'a pour l'instant fermé l'accès aux communautés. Mais si les attaques se poursuivent et que la surveillance reste un luxe, la pression en faveur de la vérification et de la fermeture ira croissante. Mieux vaut remettre de l'ordre dans vos propres clés avant que cela n'arrive.