OOOSplat transforme les vidéos de smartphone en scènes 3D, en local et en un clic

Le Gaussian Splatting a depuis longtemps dépassé le stade des démonstrations scientifiques : les scènes sont photoréalistes et peuvent être manipulées en temps réel dans un navigateur. Mais passer d’une vidéo de téléphone à un splat prêt à l’emploi relève encore du parcours du combattant. Il faut extraire les images avec FFmpeg, calculer les positions des caméras dans COLMAP, lancer l’entraînement, puis trouver de quoi visualiser et recadrer le résultat. L’équipe d’OOOLab a décidé de réunir cette chaîne de traitement dans une seule application, publiée en accès libre sous le nom d’OOOSplat.

Ce que contient l’application

OOOSplat est une application de bureau multiplateforme pour Windows, macOS sur Apple Silicon et Linux. Elle est écrite en Rust avec Tauri, et son interface utilise React. L’idée centrale est l’autonomie : elle embarque déjà les exécutables préconfigurés de FFmpeg, FFprobe et COLMAP, ainsi que le moteur d’entraînement Brush. Rien à installer séparément, et aucune donnée envoyée sur des serveurs tiers.

La chaîne de traitement se lance avec un seul bouton. L’application prend une vidéo (MP4, MOV), en extrait les images clés, calcule les positions des caméras avec COLMAP et optimise les gaussiennes dans Brush. Elle produit ensuite un fichier final.ply. Si la machine dispose d’une carte graphique NVIDIA, COLMAP l’utilise automatiquement. Sinon, il tourne sur le processeur, simplement plus lentement.

À quoi cela ressemble en pratique

Imaginez que vous développiez un service pour une agence immobilière ou un catalogue de produits avec des aperçus 3D. Jusqu’ici, un collaborateur filmait une pièce avec son téléphone, puis tout dépendait d’un ingénieur sachant faire tourner COLMAP. Désormais, il suffit d’importer la vidéo dans l’application pour obtenir une scène sans passer par la ligne de commande.

Après l’entraînement, le résultat s’ouvre dans une vue 3D intégrée reposant sur WebGPU et WebGL. On peut y déplacer et faire pivoter la scène, puis utiliser une boîte de délimitation pour supprimer les artefacts flottants sur les bords, un défaut courant des splats. L’export se fait en PLY, SOG, SPZ et SPLAT, mais aussi sous forme de page HTML autonome avec un lecteur web léger. C’est le cas d’usage le plus concret : mettre la scène en ligne sur un hébergement à partir d’un seul fichier, puis envoyer le lien au client.

Quelques détails supplémentaires sont appréciables. Les panoramas 360×180 au format ERP sont pris en charge. Les données GPS issues des métadonnées EXIF servent à calibrer l’échelle métrique, ce qui donne à la scène des dimensions réelles. Les masques alpha de transparence sont également pris en charge, et le mode re-shoot permet d’ajouter de nouvelles images pour mettre à jour la scène sans reprendre l’entraînement à zéro.

Les limites et les précautions à prendre

Quelques réserves s’imposent. Le projet open source est récent, et les retours sur sa stabilité et la qualité des résultats dans les scènes complexes sont encore peu nombreux. La qualité du splat dépend elle-même de la prise de vue : images nettes, bon recouvrement et absence d’objets en mouvement. Aucune interface ne peut supprimer ces contraintes. Le recours au processeur convient davantage à la validation d’une idée qu’à un usage régulier. Sur Apple Silicon et Linux, mieux vaut mesurer la vitesse d’entraînement avec ses propres données. Il faut aussi vérifier en amont les licences des composants intégrés si l’on prévoit d’incorporer le résultat dans un produit commercial.

Les implications pratiques varient selon les métiers. Pour les développeurs, le dépôt constitue une référence pour réunir COLMAP, Brush et FFmpeg dans un même paquet Tauri, ainsi qu’une base prête à être adaptée dans un fork. Pour les responsables produit, tester des hypothèses autour du contenu 3D devient moins coûteux : un pilote ne nécessite ni budget cloud ni spécialiste attitré de la photogrammétrie. Pour les fondateurs qui travaillent avec des prises de vue confidentielles de sites, d’installations industrielles ou d’intérieurs, le traitement local est un atout en soi : les données ne quittent pas la machine.

Mon conseil est simple : prenez deux ou trois vidéos réelles de votre domaine, passez-les dans OOOSplat et examinez le résultat dans le lecteur du navigateur. Si la qualité vous convient, vous aurez déjà un prototype fonctionnel de fonctionnalité 3D en une soirée. Sinon, vous comprendrez rapidement où se situe le blocage dans la chaîne de traitement : la prise de vue, le matériel ou l’approche elle-même. Le dépôt se trouve sur GitHub, dans l’organisation ooolabdev.