COCO Matrix lance CO01 : le robot apprend d'une démonstration, d'un échec ou d'une phrase

L'entreprise chinoise COCO Matrix a présenté CO01, un modèle pour robots bâti autour d'une idée que les LLM tiennent depuis longtemps pour acquise : l'apprentissage en contexte. Son nom se prononce /kuːl/, soit « cool ». Les développeurs veulent que le robot assimile les tâches comme un humain : d'abord il observe, puis il essaie, puis il écoute les remarques. Une démonstration, un échec, une phrase ou une image du but suffisent, et le modèle choisit déjà autrement son action suivante.

L'équipe appelle sa méthode « invites expérientielles » (experience prompting). Le point clé est que l'expérience entre directement dans le contexte du modèle. Il n'est pas nécessaire de la transformer d'abord en jeu de données d'entraînement, puis de la faire passer par un nouveau cycle de fine-tuning.

Une leçon plutôt qu'un nouveau fine-tuning

En robotique, une nouvelle tâche signifie généralement un nouveau lot de données. Il faut collecter des démonstrations, les annoter, réentraîner la politique, la valider sur le matériel, puis recommencer le cycle. Pour un intégrateur qui déploie des robots sur différents postes, c'est le premier poste de dépenses et la principale cause de pilotes interminables.

Les modèles de langage ont contourné ce problème plus tôt. Un exemple dans le prompt modifie le comportement du modèle sans toucher à ses poids. CO01 transpose cette logique au monde physique. Si l'approche fonctionne comme annoncé, un instructeur peut montrer la tâche, signaler l'erreur et corriger le geste à la voix, comme on le fait avec un nouvel employé dans un entrepôt.

Quatre types d'invites

L'éventail de signaux de CO01 en dit long. L'entreprise énumère les formats que le modèle sait accepter :

• Démonstration. Un seul exemple suffit à fixer un modèle d'action.
• Tentative ratée. L'enregistrement d'un échec devient matière à leçon : le modèle voit ce qui n'a précisément pas fonctionné.
• Court rappel. Une phrase comme « avance plus lentement » ou « ouvre d'abord le couvercle » oriente l'étape suivante.
• Image du but. Une image de l'état final, par exemple des objets rangés, remplace une longue description de la tâche.

Le deuxième point est particulièrement intéressant. La plupart des robots sont entraînés sur des trajectoires réussies, et les échecs sont écartés comme du bruit. Ici, l'échec est une source de connaissances à part entière, ce qui se rapproche davantage de la pratique réelle de l'apprentissage humain. Les erreurs sont constantes en atelier, et un modèle capable d'en tirer une leçon sur place est plus utile que celui qui se contente de rejouer des enregistrements parfaits.

Là où l'approche se heurtera au réel

L'apprentissage en contexte a des limites connues. Le contexte est fini : plus il contient d'exemples et d'invites, plus la charge de calcul augmente, et plus il devient difficile de tenir les latences, critiques pour piloter un manipulateur. L'expérience stockée dans le contexte ne s'accumule pas d'elle-même. Une fois la session terminée, la leçon doit être retransmise, sauf si elle a été consignée séparément.

La fiabilité pose aussi question. Une phrase claire pour un humain peut être ambiguë pour un modèle. Une image du but admet plusieurs façons de l'atteindre, et toutes ne sont pas sans danger pour l'équipement.

Ce que les intégrateurs doivent vérifier avant un pilote

Si CO01 atteint les déploiements commerciaux, il vaut mieux poser au fournisseur des questions précises :

• combien d'invites le modèle conserve dans son contexte, et comment le temps de réponse se dégrade quand le nombre d'exemples augmente ;
• si la leçon est conservée d'un poste à l'autre, et comment la transférer d'un robot à un autre ;
• quelle part des tâches s'apprend à partir d'une seule démonstration, et laquelle exige plusieurs essais ;
• comment le système se comporte quand les invites se contredisent, par exemple un exemple montré et une commande verbale ;
• quelles contraintes de sécurité s'appliquent quel que soit l'ordre donné par l'opérateur.

Pour le marché, CO01 est un signal de plus que les foundation models de robotique convergent vers l'interface imposée par les LLM : ne pas réentraîner, mais expliquer. Le gagnant sera celui qui rendra l'explication peu coûteuse, rapide et robuste aux erreurs de l'opérateur. C'est précisément sur ces trois critères que CO01 devra être comparé à ses concurrents.