Anthropic réfute les accusations du Pentagone concernant un possible sabotage des outils d'IA en temps de guerre

Anthropic nie que l'entreprise soit capable d'interférer avec le fonctionnement de ses outils d'IA en plein conflit militaire. La déclaration a été motivée par des allégations du Département de la défense américain, qui a suggéré que le développeur de Claude pourrait théoriquement manipuler le comportement des modèles même après leur déploiement en conditions de combat. La direction de l'entreprise insiste sur le fait que c'est techniquement impossible.

Le différend est devenu public dans un contexte d'intérêt croissant de l'establishment militaire américain pour les systèmes d'IA commerciaux. Au cours des deux dernières années, le Pentagone a activement testé des grands modèles de langage pour des tâches telles que la logistique, l'analyse des données de renseignement et la planification des opérations. Anthropic figure parmi les fournisseurs avec lesquels le Département de la défense est en négociation ou collabore déjà sur plusieurs programmes.

La plainte du Pentagone concerne un possible vecteur de vulnérabilité: si le développeur conserve la capacité de modifier ou de désactiver à distance le modèle, cela crée un risque de dépendance à l'égard d'une entreprise privée dans des situations critiques. Les départements militaires du monde entier ont traditionnellement cherché la souveraineté sur leurs systèmes—surtout dans le contexte d'opérations de combat actif, quand la fiabilité de l'infrastructure devient une question de vie ou de mort.

Anthropc riposte: l'architecture de déploiement de Claude ne permet pas à l'entreprise d'interférer avec les instances déjà en cours d'exécution sans la connaissance du client. La direction de l'entreprise souligne qu'un modèle déployé dans un environnement isolé du département militaire fonctionne indépendamment des serveurs d'Anthropic. La possibilité d'un 'arrêt à distance' ou d'une modification clandestine du comportement, disent-ils, est un scénario techniquement non réalisable avec une implémentation correcte.

Néanmoins, la question reste controversée. Les experts en cybersécurité ont longtemps souligné que les modèles d'IA commerciaux sont mis à jour via des mécanismes de fine-tuning et RLHF, qui dans certaines conditions peuvent affecter le comportement du système de manière imperceptible pour l'utilisateur final. Les clients militaires, contrairement aux clients d'entreprise, exigent des garanties d'immuabilité du modèle pour toute la durée du contrat—une exigence que les fournisseurs commerciaux n'ont pas encore été en mesure de satisfaire avec des outils standard.

La situation reflète une contradiction plus large: les gouvernements veulent utiliser des systèmes d'IA commerciaux avancés, mais ne sont pas disposés à accepter la dépendance à l'égard de leurs créateurs. Les modèles open-source—Llama, Mistral et autres—semblent plus attrayants dans ce contexte: ils peuvent être déployés localement et avoir leur version verrouillée. Cependant, en termes de qualité, ils accusent actuellement du retard par rapport aux homologues propriétaires dans les tâches nécessitant un raisonnement complexe.

Pour Anthropic, le conflit avec le Pentagone est un fardeau réputationnel à un moment où l'entreprise se positionne activement comme un développeur d'IA responsable. Tout doute concernant la fiabilité et la prévisibilité de Claude pourrait ralentir les négociations avec les clients gouvernementaux—un segment qui pourrait devenir dans les années à venir l'un des plus grands marchés pour les grands modèles de langage.