Omni-Woodpecker снижает галлюцинации омни-LLM без дообучения: +12,9 на CMM

Омни-модели, которые одновременно слушают звук и смотрят видео, научились убедительно рассуждать, но так же убедительно ошибаются. Группа исследователей из Нанкинского университета (Zijian Liu, Chaoyou Fu, Yan Yang, Caifeng Shan, Ran He) предложила Omni-Woodpecker, или OWP. Это метод, который снижает кросс-модальные галлюцинации без какого-либо дообучения. На Qwen2.5-Omni-7B он прибавляет 12,9 пункта на бенчмарке CMM и 8,6 на AVHBench. Статья вышла на arXiv под номером 2610.27103 и попала в Hugging Face Daily Papers.

Где у омни-моделей ломается связка звука и картинки

Кросс-модальная галлюцинация возникает, когда звуковая и визуальная дорожки говорят разное или одна из них не даёт однозначной подсказки. Модель выбирает не то, что реально зафиксировано во входе, а то, что статистически «обычно бывает»: привычное сочетание объектов и звуков из обучающих данных перевешивает факты конкретного ролика.

Большинство существующих способов лечения работают на уровне выхода: корректируют распределение токенов при декодировании или фильтруют готовый ответ. Авторы OWP считают, что это лечение симптомов. К моменту декодинга свидетельства из входа и выученные приоры уже перемешаны в слитых представлениях, и разобрать их на выходе трудно.

Три шага внутри скрытых состояний

OWP переносит вмешательство с выхода на внутренние представления и действует в три этапа:

1. Поиск конфликтов. Метод выявляет противоречия между модальностями, сопоставляя взгляды на вход, специфичные для каждой из них и дополняющие друг друга. 2. Ортогональное разложение. В скрытых состояниях метод отделяет компоненту, опирающуюся на реальные свидетельства (grounding evidence), от конкурирующих приоров. 3. Адаптивная перебалансировка. Слитые представления перенастраиваются: вклад вводящих в заблуждение приоров подавляется, а проигнорированные свидетельства усиливаются. Всё это происходит до декодирования.

Логика такая: если в скрытом пространстве удалось выделить направление, по которому модель «додумывает», его можно ослабить точечно, не трогая веса и не запуская новый цикл обучения. Отсюда и название training-free, которое для практиков важнее любой метрики: не нужны ни разметка, ни GPU-часы на файнтюн.

Что показали замеры

Авторы проверили метод на двух архитектурах и нескольких наборах задач:

• Qwen2.5-Omni-7B, бенчмарк CMM: +12,9 пункта.
• Qwen2.5-Omni-7B, бенчмарк AVHBench: +8,6 пункта.
• Qwen2.5-Omni-7B, четыре общих бенчмарка рассуждений OLLM: стабильный прирост от 0,67 до 2,25 пункта.
• VideoLLaMA2-AV, те же два бенчмарка галлюцинаций: +4,6 и +3,9 пункта.

Показательно соотношение. На специализированных тестах на галлюцинации выигрыш двузначный, на общих задачах рассуждения он скромный, но неотрицательный. Подавление приоров не ломает способности модели, а это частая цена подобных методов. Перенос на VideoLLaMA2-AV с другой архитектурой говорит, что приём не привязан к устройству Qwen, хотя прирост там ниже.

Кому это пригодится уже сейчас

Код опубликован в репозитории Omni-Woodpecker (на момент публикации у него около 94 звёзд), так что метод можно проверить на собственном стеке. Больше всего выиграют команды, которые строят на омни-моделях продукты, где ошибка стоит дорого: разбор видеозвонков и записей встреч, видеонаблюдение со звуком, автоматические описания роликов, ассистенты для медиамониторинга. Там модель чаще всего «слышит» то, чего нет в кадре, и наоборот.

Практический порядок действий простой. Сначала прогнать OWP на своих данных с заведомо конфликтующими аудио и видео, а не только на публичных бенчмарках. Затем замерить задержку и расход памяти: анализ конфликтов по отдельным модальностям, вероятно, добавляет вычисления при инференсе. Наконец, сравнить с декодинг-методами из прошлого поколения, потому что их можно комбинировать с вмешательством в скрытые состояния. Эксперименты в статье ограничены моделями класса 7B, и как метод поведёт себя на более крупных омни-системах, покажут независимые проверки.