Xiaomi-Lens-0 (4B de paramètres) devance Qwen3.5 de 5,6 points sur RefCOCO

Xiaomi-Lens-0 est un modèle de langage multimodal de 4 milliards de paramètres, construit sur Qwen3.5. Il prédit des masques d'objets à partir de ses propres représentations visuelles et les exploite au fil du raisonnement. Sur les huit splits de RefCOCO, RefCOCO+ et RefCOCOg, il est en moyenne 5,6 points plus précis que Qwen3.5 de base pour comprendre les expressions référentielles (referring). Parmi les modèles comparés, il obtient le cIoU de segmentation le plus élevé. Le rapport technique est paru le 16 octobre 2026.

Le problème : le texte n'indique pas où regarder

Les MLLM répondent assez bien aux questions portant sur l'image entière, mais ils peinent davantage sur les petites régions. Les auteurs l'expliquent par la façon dont l'entraînement est conçu. L'annotation textuelle fixe la bonne réponse, mais n'indique pas quelles zones de l'image la justifient. Le modèle peut donc répondre juste en regardant au mauvais endroit, sans que le signal d'entraînement le détecte.

La solution habituelle consiste à brancher un modèle de segmentation distinct, avec son propre encodeur. Xiaomi a choisi une autre voie et conservé un seul backbone commun.

Comment fonctionne l'architecture

Un décodeur léger reçoit deux entrées. La première : les patch features de l'encodeur visuel. La seconde : les latents visuels, c'est-à-dire les états du modèle de langage sur des tokens de masque spéciaux. À partir de leur combinaison, le décodeur construit le masque de la région. Le gradient issu du masque remonte donc directement dans le backbone commun, et aucun encodeur de segmentation supplémentaire n'est nécessaire.

Principale conséquence : chaque latent est décodable en masque. On peut ainsi insérer dans le raisonnement des latents liés à des régions précises, c'est-à-dire « penser avec des latents visuels ». Pendant la chain-of-thought, le modèle se réfère à des zones de l'image, et les grounded reasoning traces fournissent une supervision précisément sur les régions qu'il a consultées. Le raisonnement cesse d'être un texte détaché des pixels.

Ce que montrent les benchmarks

Les auteurs présentent les résultats suivants :

• Taille du modèle : 4B de paramètres, modèle de base Qwen3.5.
• Referring comprehension : +5,6 points en moyenne par rapport à Qwen3.5 sur les huit splits de RefCOCO, RefCOCO+ et RefCOCOg.
• Segmentation : cIoU le plus élevé parmi les modèles comparés.
• Perception : supériorité sur Qwen3.5 sur tous les benchmarks de perception.
• Aucun encodeur de segmentation supplémentaire n'est utilisé.

La largeur du résultat compte. Le modèle ne progresse pas sur un seul split bien choisi, mais sur les huit, et il ne perd rien en perception générale. La spécialisation en grounding dégrade souvent les compétences visuelles générales ; le rapport n'indique rien de tel ici.

Il y a aussi des réserves. Le résumé ne précise ni la composition des « modèles comparés », ni la taille des concurrents, ni les valeurs absolues des métriques. Le gain de 5,6 points est une moyenne, et il peut varier sensiblement d'un split à l'autre. Le nom, avec son indice « 0 », laisse penser à une première itération : il s'agit donc plutôt de l'annonce d'une direction que d'un produit final. Aucune reproduction indépendante n'existe pour l'instant.

À qui cela servira en pratique

Un modèle de cette taille peut raisonnablement tourner en local ou sur du matériel limité. Il convient aux tâches où il faut montrer, et pas seulement nommer : annotation de datasets, recherche d'un objet à partir d'une description textuelle, agents d'interface qui doivent désigner un élément précis de l'écran, pipelines de robotique qui relient une commande à un objet dans l'image.

Les développeurs devraient vérifier trois points. Premièrement, le comportement du modèle sur leurs propres données, et non sur RefCOCO : ce jeu est étudié depuis longtemps, et le décalage de domaine peut effacer une partie du gain. Deuxièmement, le coût en temps et en mémoire de la chaîne de raisonnement avec latents régionaux. Troisièmement, la disponibilité des poids et la licence : il faut surveiller la page du projet seerray-lab.github.io/Xiaomi-Lens-0.

L'idée d'entraîner la segmentation via un backbone commun, plutôt que d'y accoler un second modèle, paraît transposable. Si les résultats se confirment sur d'autres modèles de base, cette recette pourrait apparaître aussi dans des stacks multimodales ouvertes en dehors de Xiaomi.