Robbyant запустила LingBot-Depth 2.0 для восприятия стекла роботами

Robbyant, une division de l'entreprise chinoise Ant Group spécialisée dans l'intelligence artificielle incarnée, a lancé deux nouveaux modèles de vision par ordinateur : LingBot-Depth 2.0 et LingBot-Vision. Ces modèles ont été conçus pour résoudre l'un des défis techniques les plus anciens et les plus complexes de la robotique : la capacité des robots à percevoir et à interagir correctement avec les objets transparents, notamment le verre, les miroirs et autres surfaces vitrées.

Comment les robots ont perdu le verre de vue

Pour la vision par ordinateur d'un robot, le verre et les miroirs constituent un "point aveugle" classique. Les systèmes traditionnels de vision artificielle s'appuient sur des capteurs infrarouges (systèmes IR actifs) et des LiDARs, qui émettent de la lumière ou des ondes radio et analysent leur réflexion sur les objets. Les matériaux transparents transmettent ou dispersent ces signaux de manière inattendue, rendant la perception de la profondeur et la localisation des objets inexactes.

En conséquence, un robot dans le monde réel peut heurter une porte en verre ou manquer une tasse en verre lorsqu'il essaie de la saisir. Ce problème est particulièrement aigu pour les applications robotiques dans la logistique, le commerce électronique et l'automatisation résidentielle, où le verre est omniprésent.

Ce que peuvent faire les nouveaux modèles de Robbyant

LingBot-Depth 2.0 est la prochaine génération d'un modèle de perception spatiale qui s'appuie sur la vision par ordinateur plutôt que sur les seuls capteurs matériels. Le modèle est entraîné pour reconnaître et percevoir le verre, les miroirs et les objets semi-transparents, permettant aux robots de construire une carte tridimensionnelle plus précise de leur environnement.

LingBot-Vision est un modèle fondamental de vision par ordinateur qui sert de base au développement d'autres systèmes d'IA visuelle spécialisés. Par analogie avec la façon dont les grands modèles de langage comme GPT sont utilisés comme base pour créer des assistants spécialisés, LingBot-Vision peut être adapté à diverses tâches robotiques, de l'automatisation d'entrepôt à la robotique domestique.

• LingBot-Depth 2.0 — modèle de perception spatiale de nouvelle génération pour la perception des objets transparents
• LingBot-Vision — modèle fondamental de vision par ordinateur pour la robotique
• Problème ciblé : les capteurs traditionnels ne voient pas le verre ni les miroirs
• Approche : passage à la vision par ordinateur au lieu d'une dépendance totale aux capteurs IR/LiDAR
• Développeur : Robbyant (une division d'Ant Group, Chine)

Contexte : la course à l'IA incarnée

Le lancement de LingBot marque une intensification de la compétition mondiale entre les laboratoires d'IA pour le développement de capacités de perception pour les robots physiques. À mesure que les modèles de vision par ordinateur deviennent de plus en plus puissants (en particulier les modèles multimodaux comme GPT-4V ou Claude 3.5 Vision), les entreprises de robotique s'éloignent de la dépendance totale aux capteurs matériels spécialisés vers des systèmes de perception basés sur la vision plus universels.

Cette stratégie convient bien à Ant Group, qui a une expérience significative en logistique, commerce électronique (par le biais d'Alibaba) et fintech. Tous ces domaines exigent une automatisation robotique massive, y compris la manipulation de petits objets et la navigation dans des environnements complexes.

Ce que cela signifie

Le lancement de LingBot-Depth 2.0 et LingBot-Vision montre que la vision par ordinateur des robots a suffisamment mûri pour résoudre des problèmes d'ingénierie réels et spécifiques. Cela pourrait conduire à des systèmes robotiques moins chers et plus polyvalents qui s'appuient sur de puissants modèles d'IA plutôt que sur des capteurs spécialisés coûteux. À l'avenir, les robots pourront travailler dans des environnements domestiques et industriels ordinaires sans équipements spécialisés.