Xiaomi-Lens-0, con 4B parámetros, supera a Qwen3.5 en 5,6 puntos en RefCOCO

Xiaomi-Lens-0 es un modelo de lenguaje multimodal de 4.000 millones de parámetros construido sobre Qwen3.5. Predice máscaras de objetos a partir de sus propias representaciones visuales y las utiliza a lo largo del razonamiento. En los ocho splits de RefCOCO, RefCOCO+ y RefCOCOg, es en promedio 5,6 puntos más preciso que el Qwen3.5 base a la hora de comprender expresiones referenciales (referring). Entre los modelos comparados, tiene el cIoU de segmentación más alto. El informe técnico apareció el 16 de octubre de 2026.

El problema: el texto no dice dónde mirar

Los MLLM responden bastante bien a preguntas sobre una imagen completa, pero se desenvuelven peor con regiones pequeñas. Los autores lo atribuyen al diseño del entrenamiento. La anotación de texto fija la respuesta correcta, pero no indica qué zonas de la imagen la respaldan. Un modelo puede acertar mirando en otra parte, y la señal de entrenamiento no lo detecta.

La solución habitual consiste en conectar un modelo de segmentación independiente, con su propio codificador. Xiaomi ha tomado otro camino y ha mantenido un único backbone compartido.

Cómo funciona la arquitectura

Un decodificador ligero recibe dos entradas. La primera son las características de parche (patch) del codificador visual. La segunda son los latentes visuales, es decir, los estados del modelo de lenguaje en tokens de máscara especiales. A partir de la combinación de ambos, el decodificador construye la máscara de la región. Por eso el gradiente de la máscara fluye directamente al backbone compartido y no hace falta un codificador de segmentación adicional.

La consecuencia principal es que cada latente se decodifica en una máscara. Esto permite insertar en el razonamiento latentes vinculados a regiones concretas, es decir, «pensar con latentes visuales». Durante la chain-of-thought, el modelo consulta zonas de la imagen, y las grounded reasoning traces aportan supervisión precisamente sobre las regiones que ha visitado. El razonamiento deja de ser un texto desconectado de los píxeles.

Qué muestran los benchmarks

Los autores presentan estos resultados:

• Tamaño del modelo: 4B parámetros, con Qwen3.5 como modelo base.
• Referring comprehension: de media +5,6 puntos respecto a Qwen3.5 en los ocho splits de RefCOCO, RefCOCO+ y RefCOCOg.
• Segmentación: el cIoU más alto entre los modelos comparados.
• Percepción: superioridad sobre Qwen3.5 en todos los benchmarks de percepción.
• No se utiliza un codificador de segmentación adicional.

Lo relevante es la amplitud del resultado. El modelo no mejora en un solo split favorable, sino en los ocho, y no pierde en percepción general. A menudo, especializarse en grounding deteriora las capacidades visuales generales; en este informe no ocurre.

Hay, sin embargo, matices. El texto del abstract no detalla qué modelos componen el grupo de «modelos comparados», ni el tamaño de los competidores, ni los valores absolutos de las métricas. El aumento de 5,6 puntos es un promedio y, según el split, puede variar de forma notable. El nombre con índice «0» sugiere una primera iteración, así que se trata más de una declaración de dirección que de un producto final. Todavía no hay reproducciones independientes.

A quién le sirve en la práctica

Un modelo de este tamaño es realista para ejecutarlo en local o en hardware limitado. Encaja en tareas donde importa señalar y no solo nombrar: anotación de datasets, búsqueda de un objeto a partir de una descripción textual, agentes de interfaz que deben indicar un elemento concreto de la pantalla y pipelines de robótica que vinculan una orden con un objeto del encuadre.

Los desarrolladores deberían comprobar tres cosas. La primera es cómo se comporta el modelo con sus propios datos y no con RefCOCO: este conjunto está muy estudiado y el cambio de dominio puede erosionar parte de la mejora. La segunda es el coste en tiempo y memoria de la cadena de razonamiento con latentes regionales. La tercera es la disponibilidad de los pesos y la licencia, que conviene seguir en la página del proyecto seerray-lab.github.io/Xiaomi-Lens-0.

La idea de entrenar la segmentación a través de un backbone compartido, en lugar de acoplar un segundo modelo, parece trasladable. Si los resultados se confirman en otros modelos base, esta receta podría llegar también a stacks multimodales abiertos ajenos a Xiaomi.