Robbyant lance LingBot-Depth 2.0 pour que les robots perçoivent le verre

Robbyant, la filiale d'Ant Group spécialisée dans l'intelligence artificielle incarnée, a lancé deux nouveaux modèles de vision par ordinateur : LingBot-Depth 2.0 et LingBot-Vision. Ils sont conçus pour résoudre l'un des problèmes les plus anciens et les plus délicats de la robotique : permettre aux robots de percevoir correctement les objets transparents, notamment le verre, les miroirs et d'autres surfaces vitrées, et d'interagir avec eux.

Comment les robots négligeaient le verre

Pour la vision par ordinateur d'un robot, le verre et les miroirs forment un angle mort classique. Les systèmes de vision industrielle traditionnels reposent sur des capteurs infrarouges (systèmes IR actifs) et des lidars, qui émettent de la lumière ou des ondes radio et analysent leur réflexion sur les objets. Les matériaux transparents laissent passer ou diffusent ces signaux de façon inattendue, ce qui rend imprécises la perception de la profondeur et de la position de l'objet.

Résultat : dans le monde réel, un robot peut heurter une porte vitrée ou rater un verre à pied en tentant de le saisir. Le problème est particulièrement aigu pour les applications robotiques dans la logistique, le e-commerce et la domotique, où le verre est omniprésent.

Ce que font les nouveaux modèles de Robbyant

LingBot-Depth 2.0 est la nouvelle génération d'un modèle de perception spatiale (spatial perception model) qui s'appuie sur la vision par ordinateur, et pas seulement sur des capteurs matériels. Le modèle est entraîné à distinguer et à percevoir le verre, les miroirs et les objets translucides, ce qui permet aux robots de construire une carte tridimensionnelle plus précise de leur environnement.

LingBot-Vision est un modèle de fondation de vision par ordinateur, qui sert de socle au développement d'autres systèmes d'IA visuelle spécialisés. De même que les grands modèles de langage comme GPT servent de base à la création d'assistants spécialisés, LingBot-Vision peut être adapté à diverses tâches de robotique, de l'automatisation d'entrepôts à la robotique domestique.

• LingBot-Depth 2.0 : modèle de perception spatiale de nouvelle génération pour percevoir les objets transparents
• LingBot-Vision : modèle de fondation de vision par ordinateur pour la robotique
• Problème visé : les capteurs traditionnels ne voient pas le verre ni les miroirs
• Approche : passer à la vision par ordinateur plutôt que de dépendre entièrement de l'IR/lidar
• Développeur : Robbyant (filiale d'Ant Group, Chine)

Contexte : la course à l'IA incarnée

Le lancement de LingBot traduit une intensification de la concurrence mondiale entre laboratoires d'IA pour développer des capacités de perception destinées aux robots physiques. À mesure que les modèles de vision par ordinateur gagnent en puissance (en particulier les modèles multimodaux comme GPT-4V ou Claude 3.5 Vision), les entreprises de robotique commencent à s'éloigner de la dépendance totale aux capteurs matériels spécialisés pour se tourner vers des systèmes de perception plus universels, fondés sur la vision.

Cela convient stratégiquement à Ant Group, qui possède une expérience substantielle dans la logistique, le e-commerce (via Alibaba) et la fintech. Tous ces domaines exigent une automatisation robotique massive, y compris la manipulation de petits objets et la navigation dans des environnements complexes.

Ce que cela signifie

Le lancement de LingBot-Depth 2.0 et de LingBot-Vision montre que la vision par ordinateur des robots a suffisamment mûri pour résoudre des problèmes d'ingénierie réels et précis. Cela peut conduire à des systèmes robotiques moins chers et plus polyvalents, reposant sur de puissants modèles d'IA plutôt que sur des capteurs spécialisés coûteux. À terme, les robots pourraient travailler dans des environnements domestiques et industriels ordinaires sans équipement spécial.