Gemini et recherche sémantique : AI sélectionne des meubles à partir de plans avec 87 % de précision

La sélection de meubles basée sur un dessin architectural est une tâche qui dans la construction et le design d'intérieur se fait toujours largement manuellement. Un spécialiste prend le dessin, ouvre le catalogue d'un fournisseur et commence à examiner méthodiquement les positions: en comparant les dimensions, les matériaux, le style. Un projet prend de 20 à 40 heures-personne juste à cette étape.

Lorsqu'il y a plusieurs objets, les coûts se multiplient proportionnellement. Une équipe russe de développeurs a décidé de combler cet écart en construisant un système d'IA qui automatise l'ensemble du processus de sélection et fournit des recommandations avec 87% de précision. Le problème se situe à l'intersection de la vision par ordinateur et de la recherche d'informations.

Un dessin architectural est un document spécialisé avec des notations, des symboles conventionnels, des grilles d'échelle et des couches multiniveaux. Il ne suffit pas de reconnaître simplement un objet dans une image : vous devez comprendre la solution de planification dans son ensemble, identifier les zones fonctionnelles, extraire les zones d'assise pour des catégories spécifiques de meubles et tenir compte des contraintes réelles de l'espace. Le cœur du système est une architecture multimodale avec Gemini en tant que coordinateur principal.

Ce modèle se charge de comprendre le dessin : il reconnaît l'agencement, identifie les pièces, détermine où se trouve la chambre, où se trouve le salon, quelles sont les zones de circulation et où il y a des restrictions de hauteur, d'éclairage ou de configuration des murs. Ce n'est pas simplement de l'OCR et ce n'est pas une reconnaissance triviale d'objets — Gemini travaille avec la sémantique du document architectural, en extrayant des données structurées pour la couche suivante du système. Après la décomposition du dessin en unités sémantiques, la recherche sémantique dans le catalogue entre en jeu.

Chaque article a déjà été vectorisé : les caractéristiques du produit — dimensions, matériau, style, palette de couleurs, segment de prix — sont transformées en embeddings vectoriels. Le système compare les exigences du dessin avec cette représentation vectorielle et trouve les correspondances les plus proches. Le résultat n'est pas simplement une liste de centaines d'articles appropriés, mais une sélection classée avec une explication de la raison pour laquelle ce modèle particulier est recommandé pour un endroit spécifique du plan.

L'architecture technique ne se limite pas à deux composants. Outre Gemini et la recherche sémantique, le pipeline implique des modèles pour le prétraitement des dessins : normalisation de l'échelle, séparation des couches, nettoyage des artefacts de numérisation. Les dessins réels des organisations de conception arrivent dans différents états — des exportations CAO propres aux documents papier numérisés avec des déchirures et des taches.

Le système doit fonctionner de manière stable avec toute cette gamme sans prétraitement manuel. Atteindre 87% de précision n'a pas été réalisé au premier essai. L'équipe a itéré sur plusieurs nœuds clés : la qualité de l'analyse des dessins dans différents formats, la stratégie de vectorisation des données du catalogue et le mécanisme de classement final.

Un défi particulier a été les agencements inhabituels — lorsqu'un architecte utilise des notations non standard ou lorsque le dessin ne contient qu'un fragment de la pièce. Pour les cas limites, ils ont ajouté une logique de secours et une couche supplémentaire de validation des résultats. La valeur pratique du développement réside dans la mise à l'échelle du temps de travail des spécialistes.

Si auparavant un concepteur pouvait travailler en détail sur 2–3 projets par semaine, avec le système d'IA, il vérifie et corrige les recommandations déjà prêtes au lieu de les formuler à partir de zéro. Pour les entreprises de construction travaillant avec des complexes résidentiels standard, cela signifie la capacité de gérer des dizaines d'objets en parallèle sans augmentation proportionnelle du personnel. Le projet montre comment les systèmes d'IA multimodaux commencent à automatiser les tâches opérationnelles qui étaient longtemps considérées comme trop spécialisées pour le traitement par machine.

Les dessins architecturaux sont un type complexe de données non structurées, et le fait que Gemini gère leur analyse sémantique ouvre la porte à des solutions similaires dans des domaines connexes : schémas d'ingénierie, dessins structuraux, spécifications techniques. L'étape logique suivante est l'intégration avec les plateformes BIM et l'exportation directe des recommandations vers la documentation du projet.