Quatre échelons de sens pour l'IA : des noms communs aux pactes

L'auteur du blog Tiled with Pentagons a publié sur l'AI Alignment Forum un texte qu'il décrit lui-même comme « une tour conceptuelle à moitié construite, au mortier encore humide ». Dans sa version abrégée, il compte environ 12 000 mots. L'objectif : décrire comment deux agents qui raisonnent, avec des modèles internes du monde différents mais des prédictions proches, peuvent se comprendre à quatre niveaux du langage, des noms des choses jusqu'aux engagements communs. L'auteur prévient honnêtement qu'il ne dispose pas encore des mathématiques nécessaires à un véritable théorème. Il juge certaines de ses conclusions presque justes, d'autres simplement suggestives, et beaucoup probablement fausses. La version principale de l'exposé a été présentée à Berkeley, au Lighthaven.

L'échelle à quatre échelons

Le point de départ est l'idée de sémantique interopérable de John Wentworth. Si deux agents bayésiens font les mêmes prédictions, ils peuvent s'accorder au moins sur les noms communs, entendus comme des clusters dans l'espace des choses, même si leur fonctionnement interne diffère. La nouveauté tient à ce que l'auteur superpose trois niveaux supplémentaires :

• Les noms : des clusters dans l'espace des choses, le niveau de base de l'accord.
• Les verbes : des processus et des changements qui s'appuient sur des noms déjà convenus.
• Les règles : des contraintes sur des ensembles entiers de trajectoires.
• Les pactes : des ensembles de règles que plusieurs agents prennent à leur charge en même temps.

Chaque échelon a ses propres opérateurs. Un échelon se caractérise par les types que les agents doivent déjà comprendre en commun pour traduire les messages de l'autre. L'hypothèse centrale, pour laquelle l'auteur a fixé des primes à qui la réfutera ou la démontrera : la mécanique de n'importe quel échelon ne fonctionne pas sans ceux du dessous.

Maurice, les X-Men et le specification gaming

L'auteur illustre sa motivation par une affaire judiciaire de 2003. Devant la Cour du commerce international des États-Unis, Marvel soutenait que les X-Men ne sont pas des humains. La loi taxait plus lourdement les « poupées », c'est-à-dire les figurines de personnes, et moins lourdement les autres jouets. Pour réaliser une économie fiscale, la société a sapé le cadre même sur lequel reposent ses comics. L'auteur résume : lorsqu'un argent irrésistible a rencontré une classe de noms immobile, c'est la classe qui a bougé.

Vient ensuite le geste clé. Remplacez la grille tarifaire par une fonction de récompense, et vous obtenez du specification gaming : un redécoupage hostile des catégories, imposé d'en haut par ceux qui ont des enjeux et des leviers. L'auteur promet de détailler ce point dans un prochain billet. Son témoin historique est autre : l'École des noms, en Chine, il y a environ 2300 ans. Ses représentants ont débattu pendant des décennies pour savoir si un cheval blanc est un cheval. Toutes les écoles de l'époque des Royaumes combattants se moquaient d'eux, et leurs rouleaux auraient, selon la tradition, été brûlés sous Qin Shi Huang.

Ce qui est vérifiable

L'auteur signale une piste empirique. Là où deux échelons se touchent, on devrait trouver, dans les langues du monde (ou dans des technologies cognitives apparentées comme le droit des contrats), une classe floue de mots qui comble l'écart entre eux. Parmi ses repères, il cite les travaux de Gärdenfors, de Tarski et de Gentner, ainsi que ceux des Mohistes tardifs. Il ne sait pas lui-même s'il faut voir ce voisinage comme un signal d'alarme ou comme un fossé qu'il lui est exceptionnellement facile de franchir. Le texte évoque aussi le Tlön de Borges et des mondes faits d'ondes, où les verbes apparaissent avant les noms.

Le volet alignement tient en une thèse : les valeurs que nous voudrions transmettre à une IA ne s'expriment que sous forme de règles et de pactes. Pourtant, aucun théorème ne dit quand votre concept de « meurtre » est une fonction du mien.

Comment s'en servir

Ce n'est pas une méthode prête à l'emploi, mais un programme de recherche aux questions ouvertes. Deux idées sont utiles aux praticiens qui construisent des systèmes multi-agents ou rédigent des spécifications de comportement pour les modèles. D'abord, il faut chercher les défaillances de formulation des règles aux échelons inférieurs : si les agents ne se sont pas accordés sur les noms et les verbes, le pacte construit par-dessus sera fragile.

Ensuite, il est naturel de décrire le specification gaming comme une révision des catégories imposée d'en haut, et non comme un bug d'une fonction de récompense précise. À ceux qui ont une formation mathématique, l'auteur propose explicitement de casser la construction et de rapporter une réparation. Des primes sont promises à cet effet.

Avant de bâtir des outils là-dessus, mieux vaut attendre une version formelle : elle n'existe pas pour l'instant.