Le MIT apprend à un robot à généraliser les interdits de l'humain : la mise à jour des règles prend environ 5 secondes

Un robot transporte du café à travers une table. Vous remarquez un ordinateur portable sur son chemin et dites : « Ne le renverse pas sur l'ordinateur. » Mais un téléphone se trouve aussi à proximité. Expliquer séparément qu'il ne faut pas l'arroser non plus est assez fastidieux. Pour le concepteur d'un robot domestique, c'est un vrai problème produit : combien de règles l'utilisateur doit-il énumérer avant que l'assistant ne devienne agréable à utiliser ?

Des chercheurs du MIT et de l'Université de New York proposent FLEX, un système qui extrait d'une telle remarque une règle plus générale et modifie le plan de mouvement. Dans l'exemple du café, l'interdiction s'étend à l'électronique. Le cycle complet de mise à jour prend environ cinq secondes. Pour l'instant, l'approche a été testée sur un bras robotisé virtuel : les résultats indiquent une direction de développement, mais ne prouvent pas encore la fiabilité dans un appartement.

Comment une remarque devient une règle

FLEX fonctionne en trois étapes. D'abord, le système ajoute à la liste des éléments importants pour la tâche ce que l'humain a signalé. Si le robot transporte une boule de bowling et reçoit la remarque « Ne la laisse pas tomber sur ma tasse », la tasse devient un objet à prendre en compte dans le choix de la trajectoire.

Cette étape en elle-même est familière en robotique. Son inconvénient est que la liste des interdits individuels ne cesse de s'allonger. L'utilisateur doit désigner toujours de nouveaux objets, et une partie des anciennes restrictions perd son sens quand l'environnement change.

À la deuxième étape intervient un modèle de langage. L'étude a utilisé GPT-4o. Il examine les objets désignés par l'humain et propose une généralisation, par exemple : protéger les objets fragiles. Le robot peut alors tenir compte d'autres objets de cette catégorie, même si l'utilisateur ne les a pas nommés.

La troisième étape garantit l'actualité de la liste. La vision par ordinateur détermine quels objets ne sont plus présents dans l'environnement, et le système les retire de la liste des objets pris en compte. Cela aide le planificateur à travailler avec la situation actuelle.

L'architecture de l'ensemble est ici importante. Le modèle de langage aide à formuler la contrainte, la vision évalue l'environnement et le planificateur calcule le mouvement. Pour un ingénieur, c'est précisément cette manière de relier une correction formulée à l'oral à un changement concret de comportement qui a de la valeur.

Ce qui a été testé et ce que l'on ignore encore

Les auteurs décrivent trois tâches en simulation : transporter une tasse de café, une bougie et une boule de bowling. Des volontaires saisissaient les commandes sous forme de texte. En réponse, le système tenait compte à la fois de l'interdiction précise et d'une catégorie plus large : l'électronique, les matériaux inflammables ou les objets fragiles.

Ces exemples expliquent bien l'idée, mais les limites du résultat sont importantes. Le matériel fourni ne contient ni taux de réussite, ni comparaison des taux d'erreur, ni données sur le fonctionnement d'un robot physique. On ne peut donc pas conclure que FLEX rend déjà les manipulateurs domestiques plus sûrs d'une valeur mesurée.

Les cinq secondes doivent aussi être bien comprises : c'est le temps que prend l'ensemble du cycle en trois étapes décrit. Ce n'est pas le délai annoncé d'un arrêt d'urgence. Si la tasse est déjà en train de tomber, la publication ne permet pas de conclure que FLEX pourrait éviter l'incident.

Une question se pose aussi sur les généralisations elles-mêmes. Une personne peut demander de protéger une tasse précise pour sa valeur sentimentale, et non pour sa fragilité. C'est une ambiguïté possible de l'approche ; le texte présenté n'explique pas comment le système clarifie ces intentions et corrige les hypothèses erronées.

Ce que retiennent développeurs et product managers

L'idée pratique de FLEX est de réduire le nombre d'explications répétées lors du paramétrage d'un robot pour une personne. Au lieu d'une longue liste d'exceptions, l'utilisateur donne une courte correction, dont le système tire une règle pour des situations similaires. C'est particulièrement intéressant pour les assistants domestiques, appelés à évoluer parmi des objets variés et à tenir compte des préférences différentes de leurs propriétaires.

Pour un prototype, il est utile de séparer trois tâches : l'extraction de la préférence à partir de la phrase, la vérification de son applicabilité à l'environnement et la modification de la trajectoire. Une telle architecture permet d'analyser séparément l'origine de l'erreur : le modèle a mal compris l'humain, la vision a confondu un objet ou le planificateur a choisi un mauvais chemin.

La prochaine question produit est de savoir comment montrer à l'utilisateur la règle obtenue et lui permettre de la corriger. C'est une déduction tirée de l'architecture de FLEX, et non un résultat vérifié de l'étude. Mais c'est précisément là que passe le chemin menant de l'exemple impressionnant du café à un assistant dont l'utilisateur peut comprendre et ajuster le comportement.