Anthropic et OpenAI cherchent à peser sur les publications des auditeurs externes

Reuters a rapporté le 13 octobre, citant deux personnes au fait du dossier, qu'Anthropic et OpenAI cherchent à obtenir une influence significative sur ce que les relecteurs externes de leurs modèles peuvent publier. Selon les sources, le motif est le même pour les deux entreprises : elles craignent que les conclusions des audits ne révèlent des secrets commerciaux. Un détail est gênant : très récemment, les deux laboratoires ont promis aux évaluateurs indépendants carte blanche.

Ce que l'on sait à ce stade

Les faits rapportés sont peu nombreux et formulés avec prudence. Les négociations évoquées par les sources de Reuters portent sur les conditions dans lesquelles des équipes tierces obtiennent l'accès aux modèles et publient leurs résultats. Les laboratoires veulent avoir leur mot à dire au moment de la publication. La partie accessible de l'article ne précise pas l'étendue de ce droit. On ne connaît ni les évaluateurs concernés, ni la forme des restrictions : validation du texte, droit de modification, report de publication ou veto pur et simple.

L'article original de TNW s'interrompt au moment où il mentionne qu'Anthropic, le mois dernier, par la voix de son dirigeant Dario Amodei, a fait une déclaration. Le fragment disponible ne permet pas de savoir ce qu'il a dit précisément ; je ne vais donc pas en faire état.

Où naît le conflit

Une évaluation externe n'a de sens que si l'auteur du modèle ne contrôle pas le texte final. Si le laboratoire peut adoucir les formulations ou retarder la publication, le rapport devient un communiqué de presse négocié, estampillé du logo d'un tiers.

La crainte des laboratoires n'est pourtant pas infondée. Pour tester sérieusement un modèle, l'évaluateur a besoin d'une interaction approfondie : modes d'accès non standard, versions préliminaires, détails sur le comportement du système. Un rapport permet de déduire beaucoup de choses sur les méthodes d'entraînement, les choix d'architecture et les points faibles. Pour des entreprises qui se disputent les clients professionnels et affichent une valorisation de plusieurs centaines de milliards de dollars, ces informations sont sensibles.

L'industrie dispose déjà d'un modèle de compromis. En sécurité informatique, la divulgation coordonnée des vulnérabilités est pratiquée de longue date : l'éditeur dispose d'un délai fixe pour corriger la faille (90 jours chez Google Project Zero), après quoi le chercheur publie son résultat, avec ou sans l'accord de l'éditeur. Les laboratoires peuvent légitimement prétendre à une vérification des erreurs factuelles et à une relecture destinée à repérer d'éventuelles fuites de véritables secrets. Un droit de veto sur les conclusions, c'est une tout autre affaire.

Ce que le rapport établit

• Source : Reuters, deux interlocuteurs au fait du dossier, tous deux anonymes.
• Parties : Anthropic et OpenAI.
• Objet du différend : l'étendue du contrôle sur les publications des relecteurs externes.
• Argument officiel des laboratoires : la protection des secrets commerciaux.
• Contradiction : les récentes promesses publiques de laisser carte blanche aux évaluateurs.
• Inconnues : les clauses des contrats, le nom des évaluateurs, le mécanisme de validation.

Comment lire ces promesses dans la pratique

Pour ceux qui achètent des modèles, rédigent des exigences réglementaires ou couvrent le secteur, la conclusion est simple : l'expression « évaluation indépendante » ne signifie rien sans les conditions de publication. Plusieurs points méritent l'attention.

Premièrement : ce qui est validé avant la sortie du rapport — les faits et les secrets, ou la formulation des conclusions. Deuxièmement : l'existence d'un délai ferme, passé lequel l'évaluateur publie son résultat sans accord préalable. Troisièmement : le rapport est-il tenu de signaler qu'une partie du matériel a été masquée, et pour quelle raison. Quatrièmement : qui rémunère l'évaluateur. Un financement par l'entreprise évaluée n'est pas un vice en soi, mais, associé au contrôle du texte, il crée un conflit d'intérêts.

Tant que les deux laboratoires n'auront pas rendu publiques ces conditions, il est raisonnable de lire les rapports d'audit externes en tenant compte d'une possible édition. Si Reuters a raison, le prochain test concret est simple : les évaluateurs feront-ils des déclarations publiques sur les conditions dans lesquelles ils ont travaillé, et ces conditions correspondront-elles à ce que les entreprises avaient promis auparavant ?