WeChat открыл WeVisOne-VL: детекция, маски и матирование в одной VLM

Команда WeChat выпустила WeVisOne-VL (WeChat Vision All-in-One), открытую vision-language модель. Она закрывает сразу весь спектр задач точного зрения: детекцию объектов, локализацию по текстовому описанию, подсчёт, OCR, сегментацию и матирование. По заявлению авторов, на более чем 30 бенчмарках модель показывает лидирующие результаты и на уровне объектов, и на уровне отдельных пикселей. Отдельно они подчёркивают, что она надёжно отказывается отвечать, когда запрошенного объекта на картинке нет.

Где обычные VLM теряют точность

Большие мультимодальные модели хорошо рассказывают, что изображено на фото. Когда же нужно показать, где именно находится предмет, посчитать одинаковые объекты или обвести контур, качество заметно падает. Авторы WeVisOne-VL прямо называют это главной проблемой: существующие VLM остаются ненадёжными в тонком визуальном восприятии.

На практике индустрия решает это склейкой. Языковая модель отвечает за понимание, отдельный детектор за рамки, отдельная сегментационная сеть за маски, а OCR-движок за текст. Каждое звено требует своих интерфейсов, и ошибки накапливаются по цепочке. WeVisOne-VL пытается свернуть этот конвейер в одну модель с единым форматом вывода.

Токен <OBJ> как мост к пикселям

Базовая идея в том, что всё сводится к структурированному предсказанию следующего токена. Точки и рамки модель выдаёт как обычную последовательность символов с координатами. Для пиксельных результатов в архитектуру добавлен лёгкий пиксельный декодер, который подключается через специальный токен <OBJ>. Логика такая: когда модель решает, что нужно выделить конкретный экземпляр, она выдаёт этот токен, а декодер превращает связанное с ним представление в маску или альфа-матт.

Такое решение экономит вычисления: тяжёлую часть работы делает сама VLM, а декодер остаётся небольшим. Он работает на уровне экземпляров, то есть каждому найденному объекту соответствует свой пиксельный выход. Альфа-матт нужен там, где бинарной маски мало: волосы, мех, стекло, полупрозрачные края. Его используют при вырезании объектов для монтажа и графики.

Основные характеристики:

• Задачи: детекция, referring localization, подсчёт, OCR, сегментация, матирование
• Гранулярность вывода: точки, рамки, маски, альфа-матты
• Архитектурная добавка: лёгкий пиксельный декодер и специальный токен <OBJ>
• Обучение: трёхэтапный curriculum SFT, затем RL на смеси задач
• Оценка: более 30 бенчмарков по объектным и пиксельным задачам
• Поведение при отсутствии цели: устойчивый отказ на запросы про несуществующие объекты
• Доступность: открытый релиз для сообщества

Как модель учили не выдумывать

Обучение построено в два этапа. Сначала идёт трёхстадийный curriculum SFT, где сложность задач растёт постепенно. Затем модель дообучают с помощью RL на смеси задач, чтобы единая политика не проседала ни в детекции, ни в сегментации, ни в OCR.

Отдельный акцент сделан на запросах, где искомого объекта нет. Для детекторов и grounding-моделей это классическая болевая точка: попросите найти «красную машину» на кадре без машин, и многие системы всё равно нарисуют рамку. В продакшене такие ложные срабатывания стоят дороже, чем пропуски. Поэтому способность честно сказать «здесь этого нет» авторы считают условием перехода от демонстрационных VLM к системам для реального применения.

Где это пригодится на практике

Первые кандидаты на внедрение: редакторы изображений и видео, где нужны быстрая выделяющая маска и качественный матт, а также приложения с поиском по картинке и подсчётом объектов. Сюда же относятся документооборот с OCR и локализацией полей и робототехника, где нужно не просто узнать предмет, а указать его положение.

Для разработчиков главное преимущество в открытости. Вместо связки из трёх-четырёх моделей можно протестировать одну и сравнить её с текущим пайплайном на собственных данных. Заявленные результаты на 30+ бенчмарках стоит проверять именно так: на своих кадрах, с реальными запросами про отсутствующие объекты и с учётом задержки. Для WeChat это ещё и сигнал, что экосистема Tencent всерьёз играет в открытых мультимодальных моделях восприятия, а не только в чат-интерфейсах.