ROMA apprend aux robots à toucher, secouer et presser les objets pour les comprendre

Face à une boîte inconnue, un humain se contente rarement de la regarder. Il la prend en main pour estimer son poids, la secoue pour entendre si quelque chose cliquette à l'intérieur, et la presse légèrement pour savoir si elle est molle ou rigide. Ces trois gestes simples révèlent trois paramètres physiques différents. C'est sur cette observation que repose ROMA, un travail relayé le 10 octobre 2026 par le média chinois Jiqizhixin. Le robot ne doit pas recevoir passivement les signaux de la caméra : il doit repérer lui-même qu'il en sait trop peu sur l'objet et combler ce manque par l'interaction.

Nous n'avons accès qu'à l'introduction de l'article. Ce qui suit détaille donc ce qu'elle dit, et ce qui reste inconnu.

Ce que revendique ROMA

La thèse de départ est formulée clairement : chez l'humain, la perception du monde ne se réduit pas à la réception de données sensorielles toutes faites. Quand nous comprenons que l'information manque, nous agissons, et le retour obtenu complète l'image que nous nous faisons de l'objet. ROMA transpose cette logique au robot. Le système doit explorer l'objet par le contact physique, au lieu de s'en tenir à ce que montre l'image.

Ce qui compte ici, ce n'est pas le mouvement de la main en soi, mais la condition qui le déclenche. Le robot évalue d'abord ce qui lui manque, puis choisit l'action qui comblera cette lacune. Ce cadrage écarte d'emblée le scénario du « toucher à tout ».

Pourquoi la vision seule ne suffit pas

La masse, la rigidité, le frottement ou la présence d'un contenu se voient mal sur une image. Deux boîtes d'apparence identique peuvent peser 100 grammes ou 2 kilogrammes. Les modèles vision-langage actuels décrivent bien une scène, mais n'estiment que de façon approximative les propriétés physiques d'un objet à partir d'une photo. Pour un robot censé saisir un objet sans l'écraser, sans le laisser tomber et sans renverser son contenu, cette imprécision est souvent insuffisante.

L'idée de perception interactive n'est pas nouvelle en robotique : les chercheurs y travaillent depuis des décennies, et des capteurs tactiles comme GelSight servent depuis longtemps à évaluer la forme et la texture. La question est de savoir qui pilote l'exploration. Dans les travaux antérieurs, la séquence d'actions était souvent fixée à l'avance. D'après la description, ROMA intègre le choix de l'action au raisonnement même de l'agent.

Ce que l'on sait d'après l'extrait disponible

• Source : Jiqizhixin (机器之心), publication du 10 octobre 2026.
• Nom de l'approche : ROMA ; la tâche est l'exploration interactive d'objets par un robot.
• Équivalents humains cités dans l'article : peser, secouer, presser.
• Logique : l'interaction se déclenche lorsque le système détecte un manque d'informations.
• Les métriques, la liste des objets de test, le type de manipulateur et de capteurs ne sont pas précisés dans le texte disponible.

Ce qui manque pour évaluer l'approche

Sans données expérimentales, il est trop tôt pour juger de la valeur réelle de l'approche. On ignore sur quel matériel le système a été testé, avec quels objets il a travaillé, et dans quelle mesure le taux de réussite des saisies ou la précision de l'estimation de la masse ont progressé par rapport aux méthodes de référence. On ne sait pas non plus comment ROMA se situe par rapport aux grands modèles multimodaux : est-il entraîné à partir de zéro, utilise-t-il un modèle de langage comme « planificateur », ou est-il affiné sur des trajectoires d'interaction ?

Ce que les développeurs doivent surveiller

Lorsque l'article complet ou le dépôt de code sortira, quatre points méritent d'être vérifiés. Premièrement, la façon dont le « manque d'informations » est formalisé : par l'incertitude du modèle, par un classifieur dédié ou par un raisonnement en langage naturel. Deuxièmement, le nombre d'essais physiques consommés par objet, car chaque secousse superflue coûte du temps de cycle et use la mécanique. Troisièmement, la transférabilité de la politique à d'autres manipulateurs et capteurs. Quatrièmement, la présence d'une comparaison avec le schéma simple « toujours soulever et peser d'abord » : s'il fonctionne presque aussi bien, il faudra démontrer séparément l'intérêt du choix des actions.

Pour les équipes qui conçoivent des robots d'entrepôt et domestiques, ROMA reste pour l'instant une indication de direction, pas un outil prêt à l'emploi. La direction, elle, est claire : la compréhension physique des objets se déplace peu à peu de la caméra vers la main.