Xiaomi-Lens-0 на 4B параметров обошла Qwen3.5 на 5,6 пункта в RefCOCO

Xiaomi-Lens-0 — мультимодальная языковая модель на 4 млрд параметров, построенная на Qwen3.5. Она предсказывает маски объектов из собственных визуальных представлений и использует их по ходу рассуждений. На всех восьми сплитах RefCOCO, RefCOCO+ и RefCOCOg она в среднем на 5,6 пункта точнее базовой Qwen3.5 в понимании referring-выражений. Среди сравниваемых моделей у неё самый высокий cIoU сегментации. Технический отчёт появился 16 октября 2026 года.

Проблема: текст не говорит, куда смотреть

MLLM неплохо отвечают на вопросы про картинку целиком, но мелкие регионы даются им хуже. Авторы объясняют это устройством обучения. Текстовая разметка фиксирует правильный ответ, но не указывает, какие области изображения его подтверждают. Модель может угадать верно, глядя не туда, и обучающий сигнал этого не заметит.

Обычное решение — подключить отдельную сегментационную модель со своим энкодером. Xiaomi пошла другим путём и оставила один общий backbone.

Как устроена архитектура

Лёгкий декодер получает два входа. Первый — patch-признаки визуального энкодера. Второй — визуальные латенты, то есть состояния языковой модели на специальных mask-токенах. Из их комбинации декодер строит маску региона. Поэтому градиент от маски идёт напрямую в общий backbone, и дополнительный сегментационный энкодер не нужен.

Главное следствие: каждый латент декодируется в маску. Это позволяет вставлять в рассуждение латенты, привязанные к конкретным регионам, то есть «думать визуальными латентами». Во время chain-of-thought модель обращается к областям изображения, а grounded reasoning traces дают надзор именно на тех регионах, которые она посетила. Рассуждение перестаёт быть текстом, оторванным от пикселей.

Что показали бенчмарки

Авторы приводят такие результаты:

• Размер модели: 4B параметров, базовая модель Qwen3.5.
• Referring comprehension: в среднем +5,6 пункта к Qwen3.5 по всем восьми сплитам RefCOCO, RefCOCO+ и RefCOCOg.
• Сегментация: самый высокий cIoU среди сравниваемых моделей.
• Перцепция: превосходство над Qwen3.5 на всех перцептивных бенчмарках.
• Дополнительный сегментационный энкодер не используется.

Важна широта результата. Модель улучшилась не на одном удобном сплите, а на всех восьми, и не потеряла в общей перцепции. Часто специализация на grounding ухудшает общие визуальные навыки, здесь в отчёте этого нет.

Есть и оговорки. В тексте аннотации не раскрыты состав «сравниваемых моделей», размеры конкурентов и абсолютные значения метрик. Прирост в 5,6 пункта — среднее, и по отдельным сплитам он может заметно отличаться. Название с индексом «0» намекает на первую итерацию, так что это скорее заявка на направление, чем финальный продукт. Независимых воспроизведений пока нет.

Кому это пригодится на практике

Модель такого размера реалистично запускать локально или на ограниченном железе. Для этого подходят задачи, где важно показать, а не только назвать: разметка датасетов, поиск объекта по текстовому описанию, интерфейсные агенты, которым нужно указать конкретный элемент экрана, робототехнические пайплайны с привязкой команды к объекту в кадре.

Разработчикам стоит проверить три вещи. Первая — как модель ведёт себя на ваших данных, а не на RefCOCO: этот набор давно изучен, и доменный сдвиг может съесть часть прироста. Вторая — стоимость цепочки рассуждений с региональными латентами по времени и памяти. Третья — доступность весов и лицензия: за ними стоит следить на странице проекта seerray-lab.github.io/Xiaomi-Lens-0.

Идея обучать сегментацию через общий backbone, а не пристраивать вторую модель, выглядит переносимой. Если результаты подтвердятся на других базовых моделях, такой рецепт может появиться и в открытых мультимодальных стеках за пределами Xiaomi.