ACT3D apprend aux VLM à explorer les scènes 3D et devance Gemini 3.6 Flash : 53,2% sur six benchmarks

Les auteurs d'un article publié sur Hugging Face Daily Papers proposent ACT3D, un modèle vision-langage qui répond à des questions sur une scène 3D en s'y déplaçant de lui-même. Sa précision moyenne sur six benchmarks 3D s'établit à 53,2%. C'est 22,0% de plus que le modèle Qwen de base, et un score supérieur à celui du modèle propriétaire Gemini 3.6 Flash. ACT3D consomme en outre 50–70% d'images d'entrée en moins que les méthodes 3D ouvertes existantes.

Une seule image plutôt qu'un nuage de points

D'ordinaire, la compréhension 3D des VLM se construit « de front » : on donne au modèle un jeu de vues, une vidéo ou une représentation 3D dédiée. Les auteurs ont pris une autre voie et conservé l'entrée visuelle native des VLM, une image à la fois, comme chez l'humain. La scène 3D elle-même devient un environnement avec lequel le modèle interagit par des actions comme « se décaler vers la gauche », et qui lui renvoie des images rendues.

Chaque épisode commence par une vue à la première personne et une question visuelle. Le modèle raisonne ensuite, se déplace, change la direction de son regard, et ne fixe sa réponse qu'à la fin. L'entraînement se fait en deux étapes : d'abord un supervised fine-tuning sur des trajectoires prêtes à l'emploi, puis du reinforcement learning. La récompense dépend essentiellement de l'exactitude de la réponse finale.

Le point clé : le RL n'indique pas au modèle quels points de vue visiter ni quelles actions choisir. Il doit déduire seul sa politique d'exploration à partir d'un unique signal : l'interaction avec l'espace l'a-t-elle aidé à mieux répondre, ou non ?

Ce que disent les chiffres

• Précision moyenne sur six benchmarks 3D : 53,2%.
• Gain par rapport au Qwen de base : 22,0% (le résumé ne précise pas s'il s'agit de points de pourcentage ou d'un gain relatif).
• Résultat supérieur à celui du modèle propriétaire Gemini 3.6 Flash.
• Économie d'images d'entrée par rapport aux méthodes 3D ouvertes : 50–70%.
• Sur des domaines inconnus : +5,9% en moyenne par rapport à l'initialisation supervisée.
• Gain sur le modèle de base pour les questions résolubles dès la première image : 0,6% ; pour les questions nécessitant une longue exploration : 16,3%.

Ces deux derniers chiffres sont sans doute les plus parlants. Quand la réponse est visible d'emblée, ACT3D n'apporte presque rien par rapport au modèle de base. Quand il faut chercher, l'écart devient net. Le modèle ne promène donc pas sa caméra dans la scène sans nécessité : il adapte son exploration à la question.

Les auteurs décrivent trois comportements. ACT3D cherche les objets masqués par d'autres. Il évite les déplacements superflus lorsque l'information suffit déjà. Et il rassemble des angles de vue complémentaires pour les comparaisons spatiales, par exemple quand il faut rapprocher deux objets qui ne tiennent pas dans une même image.

À quoi cela peut servir

L'idée dépasse les benchmarks concernés. Le modèle apprend non seulement à raisonner sur des données visuelles, mais aussi à décider quand et comment les acquérir. Pour la robotique et les agents embodied, la formulation est naturelle : un robot n'a pas non plus de nuage de points préassemblé, seulement une caméra et un ensemble de mouvements. L'approche qui récompense uniquement le résultat évite l'annotation coûteuse de trajets « corrects ».

Pour les ingénieurs qui construisent des pipelines sur des VLM, la conclusion est pratique. Une économie de 50–70% d'images signifie moins de charge sur le contexte et sur le calcul à l'inférence, et un modèle ouvert de base peut être amené au niveau d'un modèle phare fermé sans changer d'architecture. Un SFT sur trajectoires suivi d'un RL sur l'issue de la tâche forme un schéma assez reproductible, et on peut raisonnablement s'attendre à le voir transposé à d'autres environnements interactifs.

Les limites existent aussi. Le résumé parle d'environnements 3D simulés avec rendu, et non de caméras réelles, de capteurs bruités ou de scènes dynamiques. Le passage au monde physique reste une question ouverte, à laquelle les prochains travaux devront répondre.