Xiaomi-Lens-0, com 4B de parâmetros, supera o Qwen3.5 em 5,6 pontos no RefCOCO

O Xiaomi-Lens-0 é um modelo de linguagem multimodal de 4 bilhões de parâmetros construído sobre o Qwen3.5. Ele prevê máscaras de objetos a partir das próprias representações visuais e as usa ao longo do raciocínio. Nos oito splits do RefCOCO, RefCOCO+ e RefCOCOg, ele é em média 5,6 pontos mais preciso que o Qwen3.5 base na compreensão de expressões referenciais (referring). Entre os modelos comparados, tem o maior cIoU de segmentação. O relatório técnico foi divulgado em 16 de outubro de 2026.

O problema: o texto não diz para onde olhar

Os MLLMs respondem bem a perguntas sobre a imagem como um todo, mas têm mais dificuldade com regiões pequenas. Os autores atribuem isso à forma como o treinamento é feito. A anotação textual fixa a resposta correta, mas não indica quais áreas da imagem a sustentam. O modelo pode acertar olhando para o lugar errado, e o sinal de treinamento não percebe isso.

A solução habitual é acoplar um modelo de segmentação separado, com seu próprio codificador. A Xiaomi seguiu outro caminho e manteve um único backbone compartilhado.

Como é a arquitetura

Um decodificador leve recebe duas entradas. A primeira são os patch features do codificador visual. A segunda são os latentes visuais, ou seja, os estados do modelo de linguagem em tokens de máscara especiais. A partir da combinação dos dois, o decodificador constrói a máscara da região. Por isso, o gradiente da máscara vai direto para o backbone compartilhado, e não é preciso um codificador de segmentação adicional.

A principal consequência é que cada latente é decodificado em uma máscara. Isso permite inserir no raciocínio latentes vinculados a regiões específicas, ou seja, "pensar com latentes visuais". Durante o chain-of-thought, o modelo recorre a áreas da imagem, e os grounded reasoning traces fornecem supervisão justamente sobre as regiões que ele visitou. O raciocínio deixa de ser um texto desconectado dos pixels.

O que os benchmarks mostraram

Os autores apresentam os seguintes resultados:

• Tamanho do modelo: 4B de parâmetros, modelo base Qwen3.5.
• Referring comprehension: em média +5,6 pontos sobre o Qwen3.5 nos oito splits do RefCOCO, RefCOCO+ e RefCOCOg.
• Segmentação: maior cIoU entre os modelos comparados.
• Percepção: superioridade sobre o Qwen3.5 em todos os benchmarks de percepção.
• Nenhum codificador de segmentação adicional é usado.

O que importa é a amplitude do resultado. O modelo melhorou não em um único split favorável, mas em todos os oito, e não perdeu desempenho em percepção geral. A especialização em grounding costuma prejudicar as habilidades visuais gerais, mas o relatório não registra esse efeito aqui.

Há ressalvas. No texto do resumo não aparecem a composição dos "modelos comparados", o tamanho dos concorrentes nem os valores absolutos das métricas. O ganho de 5,6 pontos é uma média e pode variar bastante entre os splits. O nome com o índice "0" sugere uma primeira iteração, então é mais a indicação de uma direção do que um produto final. Ainda não há reproduções independentes.

Para quem isso é útil na prática

Um modelo desse tamanho pode ser executado localmente ou em hardware limitado. Ele se encaixa em tarefas em que é importante apontar, e não só nomear: anotação de datasets, busca de objetos por descrição textual, agentes de interface que precisam indicar um elemento específico da tela e pipelines de robótica que associam um comando a um objeto no quadro.

Os desenvolvedores devem verificar três pontos. O primeiro é como o modelo se comporta com os seus dados, e não no RefCOCO: esse conjunto já é bastante estudado, e a mudança de domínio pode consumir parte do ganho. O segundo é o custo, em tempo e memória, da cadeia de raciocínio com latentes regionais. O terceiro é a disponibilidade dos pesos e a licença, que vale acompanhar na página do projeto, seerray-lab.github.io/Xiaomi-Lens-0.

A ideia de treinar segmentação por meio de um backbone compartilhado, em vez de acoplar um segundo modelo, parece transferível. Se os resultados se confirmarem em outros modelos base, essa receita pode aparecer também em stacks multimodais abertas fora da Xiaomi.