MLCommons lance AILuminate : comment chiffrer enfin les risques de l'IA

Le risque est déjà dans la comptabilité

La théorie de la gestion des risques liés à l'IA n'est pas une nouvelle philosophie. Toute organisation mature fait déjà tourner un cycle de gestion des risques : elle repère les vulnérabilités, évalue les pertes attendues, applique des contrôles proportionnés à l'ampleur du risque, et rend des comptes au responsable concerné. Les assureurs y tiennent, les auditeurs le testent, les conseils d'administration le valident.

Mais le coût des échecs augmente. L'étude IBM Cost of a Data Breach 2025 montre que le coût moyen d'une fuite de données atteint 4,44 millions de dollars à l'échelle mondiale, et un record de 10,22 millions de dollars aux États-Unis. 63 % des organisations victimes d'une attaque n'avaient soit aucune politique de gouvernance de l'IA, soit étaient encore en train de la rédiger. Les entreprises touchées par une « IA fantôme » développée — des systèmes déployés de façon chaotique et sans supervision — perdent en moyenne 670 000 dollars de plus.

La régulation ajoute son lot d'amendes. Le RGPD et le CCPA, des standards conçus avant l'IA générative, encadrent déjà strictement les décisions qu'un système d'IA peut prendre. L'EU AI Act prévoit des amendes allant jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires mondial — une incitation forte à une gestion proactive des risques.

Comment l'aviation est devenue sûre

Le bénéfice d'une bonne gestion d'un nouveau risque ne se limite pas à éviter des pertes. C'est la santé de toute une industrie qui est en jeu. En 1959, l'aviation commerciale américaine comptait environ 40 accidents mortels par million de vols. En une décennie, ce chiffre est tombé sous 2. Au cours des 50 dernières années, il a continué de reculer, se divisant à peu près par deux chaque décennie.

L'aviation est devenue sûre parce que le secteur a construit un système de gestion des risques et l'a sans cesse perfectionné. Les mesures ont créé de la confiance, et la confiance a permis de considérer le vol comme une routine. Plusieurs milliards de passagers par an, ainsi que les assureurs et les créanciers de plus de 30 000 avions commerciaux, traitent désormais le vol comme une banalité.

La fin de l'auto-évaluation

Une gestion honnête des risques liés à l'IA exige des mesures honnêtes. Les entreprises pharmaceutiques ne jugent pas elles-mêmes leurs essais cliniques. Les sociétés cotées n'auditent pas elles-mêmes leurs rapports financiers.

Mais dans l'industrie de l'IA, les fournisseurs continuent de s'auto-attribuer des notes, de faire tourner leurs propres benchmarks et de communiquer leurs propres résultats. Le cas de la revue de code est emblématique : un fournisseur a fait tourner son propre benchmark et obtenu 82 % de précision dans la détection des bugs ; un concurrent a refait le calcul sur les mêmes dépôts et trouvé 45 % ; lorsqu'un laboratoire indépendant a créé son propre benchmark, aucun fournisseur n'a dépassé 63 %. Les produits n'avaient pourtant pas changé.

MLCommons a lancé en décembre 2024 AILuminate, une famille de benchmarks indépendants à gouvernance consensuelle, qui évaluent la fiabilité avec laquelle un système d'IA évite les réponses nuisibles. Ils sont élaborés par des groupes de travail réunissant entreprises d'IA, monde académique et société civile. Les fournisseurs ne rédigent pas leur propre examen, ne voient pas les questions et ne tiennent pas la grille de notation.

Que faire des résultats

Les scores par type de préjudice montrent où le risque se concentre pour votre cas d'usage. C'est la matière première du registre des risques.

Les résultats déterminent les contrôles. Si un système perd des points sous une pression adversariale, c'est une indication concrète, étayée par des preuves, qu'il faut bâtir des défenses au niveau du système — et non un mandat vague du type « faites attention ».

Testez votre propre configuration. C'est le point que la plupart des programmes négligent. En tant qu'acheteur du système, testez exactement ce que vous allez déployer, avec le même test que celui du fournisseur. L'évaluation doit refléter le fonctionnement réel avec votre intégration — c'est la différence entre la consommation affichée sur l'étiquette d'une voiture et celle que vous constatez sur votre trajet. L'étiquette décrit le banc d'essai, pas votre trajet quotidien.

Agent Reliability Profile

L'évaluation d'un modèle montre comment celui-ci se comporte en sortie de chaîne. Mais elle ne dit rien de son comportement une fois déployé. La plupart des entreprises ne déploient pas des modèles bruts, mais des modèles habillés : intégrés dans des prompts, connectés à des données internes, équipés d'outils, parfois fonctionnant comme des agents. C'est précisément cet habillage qui rend le modèle utile — et fragile.

Le bureau financier de MLCommons a développé l'Agent Reliability Profile — un artefact propre à chaque agent, qui consigne une affirmation précise et réfutable : ce système fonctionne de manière fiable au niveau d'autonomie indiqué, dans le périmètre opérationnel désigné, sous l'enveloppe de contrôle spécifiée. Pas une impression vague sur la « fiabilité » d'un agent, mais une affirmation concrète qu'un auditeur ou un assureur peut vérifier. Ce profil a été finaliste du hackathon CDIR.

Traiter l'IA comme n'importe quel autre risque

Le risque lié à l'IA peut être identifié, chiffré, géré de façon proportionnée et faire l'objet de comptes rendus — comme les entreprises le font depuis des décennies pour le risque de crédit, l'exposition aux devises ou la sécurité au travail. Ce n'est pas un frein au déploiement de l'IA, mais sa condition. Le risque est déjà inscrit dans vos comptes. La seule question est de savoir si vous allez le mesurer.