Revue de littérature : les robots apprennent à améliorer leur propre apprentissage, mais les preuves manquent encore

L'idée d'auto-amélioration récursive (RSI) tient en peu de mots : le système apprend non seulement à mieux accomplir une tâche, mais aussi à mieux apprendre. Les agents numériques s'en approchent déjà en réécrivant leur propre code et en validant chaque version par des tests exécutables. Les auteurs d'une nouvelle revue publiée sur Hugging Face Daily Papers se demandent ce qui se passe si l'on transpose ce même mécanisme dans le monde physique, où les tests coûtent du temps, du matériel et parfois des pannes irréversibles.

Leur réponse tient en quatre conditions, à réunir pour que les améliorations d'un robot s'accumulent au lieu de se dissiper, et en un constat peu réjouissant : dans les études physiques, on n'est pas encore parvenu à distinguer la contribution de la récursion en tant que telle de celle d'un apprentissage classique.

Le prix de l'erreur, côté matériel

Pour un agent logiciel, la boucle est simple. Il modifie le code, lance les tests, observe le résultat et conserve la meilleure version. Un retour en arrière prend quelques secondes, et l'observabilité est quasi totale.

Pour un robot, tout est différent. Il travaille à partir d'observations partielles : caméras et capteurs ne montrent qu'un fragment de la réalité. Chaque essai coûte cher, car il mobilise du temps, un opérateur, une remise à zéro de la scène et de l'usure mécanique. Les conditions varient : éclairage, frottements, comportement des objets, état des actionneurs eux-mêmes. Et les conséquences d'une erreur peuvent être irréversibles, de la tasse brisée au manipulateur cassé. Le schéma « je me réécris et je vérifie » ne se transpose donc pas tel quel. Les auteurs situent la RSI au sein de l'apprentissage en robotique et retracent le passage de l'amélioration des capacités du robot à l'amélioration des processus qui produisent ces capacités.

Quatre conditions pour que le gain ne se perde pas

Le cœur du travail définit à quel moment une amélioration va réellement plus loin et aide à perfectionner le mécanisme d'amélioration lui-même. Selon les auteurs, un gain ne se transmet que si quatre facteurs coïncident :

• le retour d'information porte sur ce qui manque encore au système pour apprendre, et non sur ce qu'il sait déjà faire ;
• le composant qui reçoit la modification est capable de l'exploiter ;
• la valeur de l'amélioration se maintient lorsque les tâches ou la plateforme matérielle changent ;
• la poursuite de la pratique reste sûre et d'un coût abordable.

C'est une check-list commode. Une politique de contrôle améliorée ne sert à rien si l'étape d'apprentissage suivante ne sait pas s'en servir. Une compétence liée à une main précise perd son sens dès que l'on remplace le manipulateur. Et un schéma qui exige des milliers d'essais risqués se heurte au budget et à la sécurité avant même de buter sur les algorithmes.

Ce qui a déjà été montré en manipulation

Les travaux existants se concentrent surtout sur la manipulation, c'est-à-dire la saisie et le déplacement d'objets. Ils confirment trois points : le comportement du robot s'améliore bel et bien, l'expérience accumulée facilite l'apprentissage ultérieur, et les procédures d'apprentissage peuvent elles aussi être améliorées. Certains systèmes vont plus loin et modifient les connaissances ou les outils de l'« améliorateur » lui-même.

Mais les auteurs désignent sans détour la principale lacune. Parmi les études physiques examinées, aucune ne permet pour l'instant d'attribuer sans ambiguïté le gain à la récursion. Le robot progresse, mais on ne sait pas si c'est parce qu'il a amélioré sa manière de s'améliorer, ou simplement parce qu'il a accumulé plus de données et d'essais. Pour l'industrie, la distinction est importante : sans elle, toute annonce de « robot auto-améliorant » relève du marketing.

Comment vérifier les annonces de robots auto-améliorants

La revue en tire des principes d'évaluation utiles aux développeurs comme aux investisseurs, et à ceux qui lisent les communiqués tapageurs.

Premier principe : exiger des ablations. Si un système prétend améliorer son processus d'apprentissage, il faut le comparer à une version où ce processus est figé, à nombre égal d'essais physiques. Deuxième principe : examiner la transférabilité.

Un gain qui ne se maintient que sur une tâche et une plateforme en dit peu sur la récursion. Troisième principe : calculer le coût complet de la pratique, y compris le temps des opérateurs, l'usure du matériel et les mesures de sécurité. Quatrième principe : vérifier ce que le système modifie exactement.

Des changements de politique de contrôle, de procédure de collecte de données, de connaissances ou d'outils de l'améliorateur correspondent à des niveaux de récursion différents, et il ne faut pas les confondre.

Pour les équipes qui construisent des robots généralistes, c'est aussi une feuille de route. Selon la revue, le chemin le plus court vers une véritable RSI ne passe pas par des modèles plus puissants, mais par une boucle de retour d'information peu coûteuse et sûre, qui pointe avec précision les lacunes de l'apprentissage. Celui qui construira le premier une telle boucle et en prouvera l'apport par une ablation rigoureuse obtiendra des machines qui apprennent à apprendre d'essai en essai, au lieu de simplement accumuler de l'expérience.