LIBERO-Industry teste 5 politiques robotiques sur 216 tâches d'usine

Les auteurs de LIBERO-Industry ont constitué 216 tâches qui mettent à l'épreuve les politiques robotiques généralistes dans des conditions de chaîne d'assemblage : convoyeur en mouvement, fenêtre d'action limitée, tolérances géométriques strictes. Les cinq modèles testés, dont des modèles vision-language-action et world-action, perdent en performance à mesure que les contraintes s'ajoutent et se cumulent. Le benchmark s'appuie sur le populaire LIBERO et répond à une question que les tests de laboratoire éludaient : que se passe-t-il quand le produit change et que la bande ne s'arrête pas ?

Là où les évaluations habituelles montrent leurs limites

La production flexible, en particulier l'assemblage électronique en mode high-mix, low-volume (HMLV), vit dans un changement permanent. Les lots sont petits, les variantes de produits se succèdent, les conditions sur la ligne fluctuent. Le robot doit ici s'adapter, et non répéter une trajectoire apprise par cœur. Les auteurs pointent une lacune : les cadres d'évaluation existants ne capturent pas de façon systématique les contraintes industrielles lorsqu'il s'agit de politiques généralistes. Un modèle peut se montrer solide sur des tâches classiques de table, sans jamais avoir affaire à un tapis qui emporte une pièce en quelques secondes.

LIBERO-Industry traduit ces contraintes en conditions de tâche contrôlables et en critères de réussite mesurables. Chaque facteur peut être réglé séparément ou en combinaison avec les autres.

Comment le benchmark est construit

L'ensemble repose sur trois scénarios de production classiques. Ils se distinguent par le côté de l'opération qui est en mouvement : la source, la destination ou les deux.

• Static-to-Dynamic (S2D) : chargement, l'objet est pris à une position statique et déposé sur un flux en mouvement.
• Dynamic-to-Static (D2S) : déchargement, l'objet est retiré d'un flux en mouvement et posé à un point statique.
• Dynamic-to-Dynamic (D2D) : transfert entre deux flux en mouvement.
• 216 tâches au total.
• Paramètres variables : géométrie de l'objet, vitesse du convoyeur, durée de la fenêtre d'interaction, taille de la zone géométrique de tolérance.
• Cinq politiques généralistes évaluées, parmi lesquelles des modèles VLA et des modèles world-action.

Les paramètres sont choisis pour reproduire les exigences réelles d'une ligne. Une fenêtre d'interaction courte laisse peu de temps à la politique pour saisir l'objet. Une zone de tolérance réduite signifie qu'un placement approximatif compte déjà comme un rebut. Un convoyeur rapide cumule les deux pressions.

Ce que montrent les expériences

Le résultat principal est prévisible dans son sens, mais utile dans sa structure : la performance des politiques baisse progressivement à mesure que les contraintes industrielles s'introduisent, et encore davantage quand elles se combinent. La dégradation ne survient pas d'un coup sur un seul facteur. Les contraintes s'additionnent, et ce sont justement les combinaisons qui se révèlent les plus difficiles. Pour les équipes qui choisissent un modèle pour une ligne, cela compte plus que le score moyen sur un benchmark classique.

La seconde observation concerne l'entraînement. Avec un protocole unique de fine-tuning et d'évaluation, la condition de co-training avec les données de LIBERO-Industry donne un taux observé de transfert complet de l'objet cible plus élevé que la condition avec le LIBERO d'origine. Le résumé de l'article ne donne pas de chiffres précis ; on ne peut donc pas en estimer l'ampleur du gain.

Une réserve s'impose aussi : LIBERO reste un benchmark en simulation, et le transfert des résultats vers du matériel réel avec de vrais convoyeurs n'est pas démontré ici. De plus, un gain obtenu en s'entraînant sur des données proches du test n'a rien de surprenant. Le point plus intéressant est ailleurs : il faut ajouter au mélange des données portant précisément sur la dynamique et les tolérances, et pas seulement sur la diversité des objets et des instructions.

Conséquences pratiques

Si vous évaluez une politique robotique pour la production, ne vous contentez pas de son succès sur des tâches statiques. Testez-la d'abord séparément sur les axes de vitesse du flux, de durée de la fenêtre et de taille de la tolérance, puis en combinaison : le point faible apparaît généralement à l'intersection des facteurs. Les développeurs ont intérêt à intégrer dans leurs jeux de données de fine-tuning des scènes avec des objets en mouvement et des tolérances étroites, plutôt que d'espérer que la généralisation à partir de données de table fonctionne d'elle-même.

Enfin, les chiffres obtenus en simulation doivent être considérés comme une borne inférieure des exigences de validation. Une vérification sur une ligne réelle, avec de vraies variantes de produits, reste obligatoire.