Comment les modèles de langage aident à entraîner des robots de chantier sans annotation manuelle des données

Le BTP reste l'une des industries les moins automatisées au monde. Les pelleteuses, les bulldozers et les grues sont toujours conduits par des humains, et la productivité du travail dans la construction n'a pratiquement pas progressé ces dernières décennies, contrairement à l'industrie manufacturière, où la robotisation est depuis longtemps la norme. L'une des principales raisons de cet écart est une pénurie criante de données de qualité pour entraîner des systèmes autonomes. C'est ce problème que la start-up Bedrock Robotics s'est attaquée à résoudre, en s'associant à Amazon Web Services.

L'entreprise a rejoint le programme AWS Physical AI Fellowship et a obtenu l'accès aux ressources de l'AWS Generative AI Innovation Center, l'unité d'Amazon qui aide ses partenaires à intégrer l'IA générative dans des produits réels. L'objectif que s'est fixé Bedrock Robotics paraît trompeusement simple : apprendre aux engins de chantier à travailler de manière autonome. Mais cette formulation cache un problème fondamental de passage à l'échelle des données.

Pour qu'une pelleteuse autonome puisse creuser une tranchée ou déplacer de la terre en toute sécurité, ses modèles de réseaux de neurones doivent être entraînés sur d'énormes volumes de données annotées. Chaque image de la vidéo du chantier doit être annotée : position des engins, des personnes et des obstacles, type d'opération en cours, contexte de l'environnement. Traditionnellement, ce travail revient à des équipes d'annotateurs, et le processus est coûteux, lent et difficile à étendre. Dans la construction, où chaque chantier est unique et où les conditions changent d'heure en heure, le problème est particulièrement aigu.

La solution de Bedrock Robotics repose sur des modèles vision-langage, une classe de systèmes multimodaux capables de « voir » une image et de « comprendre » des descriptions textuelles en même temps. Ces modèles analysent des vidéos de travaux, en extraient automatiquement des détails opérationnels et génèrent des jeux de données d'entraînement annotés sans intervention humaine. En somme, plutôt que d'embaucher des centaines d'annotateurs, la start-up confie l'annotation à un autre réseau de neurones, et le fait à une échelle hors de portée du travail manuel.

Sur le plan technique, l'approche se déroule ainsi. Le flux vidéo du chantier est envoyé à un modèle vision-langage déployé sur l'infrastructure d'Amazon Bedrock. Le modèle analyse la scène image par image, reconnaît les types d'engins et les opérations en cours, détermine les relations spatiales entre les objets et produit des annotations structurées. Ces annotations servent ensuite de données d'entraînement à des modèles spécialisés qui pilotent directement les engins autonomes. Il en résulte une sorte de chaîne de production : un grand modèle généraliste prépare les données de petits modèles spécialisés.

Il faut comprendre le contexte dans lequel cette solution est apparue. L'IA physique (robots, véhicules autonomes, manipulateurs industriels) traverse une période comparable à celle que les modèles de langage ont connue il y a quelques années. Les algorithmes sont déjà assez puissants et la puissance de calcul est disponible, mais les données restent le principal facteur limitant. Contrairement au texte, que l'on peut collecter sur internet, ou même aux images, qui se comptent par milliards en ligne, les données sur les opérations physiques sont une ressource rare et chère. Chaque heure de vidéo de chantier doit non seulement être enregistrée, mais aussi annotée avec discernement, en tenant compte des spécificités du domaine.

L'approche de Bedrock Robotics pourrait changer l'économie de toute la filière des engins autonomes. Si l'annotation des données cesse d'être le goulot d'étranglement, les entreprises peuvent itérer beaucoup plus vite sur leurs modèles, les entraîner sur des scénarios plus variés et commercialiser leurs produits plus tôt. Cela ne concerne pas que la construction : la même logique s'applique aux mines, à l'agriculture, à la logistique d'entrepôt et à tout autre domaine où des systèmes physiques doivent agir de façon autonome dans un environnement non structuré.

Il reste toutefois des questions. La qualité de l'annotation automatique est inévitablement inférieure à celle d'une annotation manuelle experte, et les erreurs dans les données d'entraînement peuvent se propager en cascade jusqu'aux modèles de contrôle finaux. Pour des systèmes qui travaillent aux côtés d'humains sur les chantiers, le coût d'une erreur ne se mesure pas en pixels, mais en vies humaines. La fiabilité de l'annotation automatique dans des scénarios critiques est une question à laquelle il n'existe pas encore de réponse publique.

La direction est pourtant tracée. Utiliser l'IA générative pour préparer les données qui entraînent une autre IA n'est pas une simple astuce d'ingénieur, mais un schéma en train de s'imposer dans toute l'industrie. Amazon fait manifestement un pari stratégique sur l'IA physique comme prochain grand marché après les modèles de langage, et le programme Physical AI Fellowship fait partie de ce pari. Des engins de chantier qui pensent par eux-mêmes relèvent encore du futur. Mais ce sont déjà des machines qui ont commencé à préparer les données de ce futur.