AVA без обучения повышает точность мультимодального ICL на 1,7 пункта

Исследователи опубликовали на arXiv препринт 2610.12516 о том, как заставить замороженные большие vision-language модели лучше учиться на примерах прямо в промпте. Фреймворк AVA (в заголовке работы он фигурирует как TraceICL) не требует обучения и не считает градиенты. На пяти бенчмарках с чередующимися 4-shot промптами он обгоняет сильнейший базовый метод в тех же условиях в среднем на 1,7 пункта, а на VizWiz выигрыш доходит до 2,4. За это платят 26% дополнительной задержки.

Где ломается мультимодальный ICL

Идея in-context learning для LVLM проста: в промпт кладут несколько троек «картинка, вопрос, ответ», и модель подхватывает задачу без дообучения. На практике схема хрупкая, и авторы называют три типовые поломки. Первая: демонстрации «приклеиваются» не к тем изображениям, когда в длинном чередующемся контексте модель путает, какая картинка к какому тексту относится. Вторая: похожие друг на друга примеры вытесняют информативные, потому что контекстное окно ограничено, а выбор обычно сводится к близости эмбеддингов. Третья: шумные ответы в демонстрациях модель копирует в предсказание почти дословно.

Три модуля вместо одного трюка

AVA разбивает конвейер подготовки демонстраций на три независимых этапа, которые можно комбинировать.

Thread-Resolved Decomposer (TRD) режет чередующийся контекст на «нити», по одной на образец, и склеивает их заново с явными границами. Так восстанавливается связь изображения с текстом.

Influence-scored Demonstration Selector (IDS) оценивает маргинальное влияние каждого кандидата одним дополнительным прямым проходом. Затем он убирает избыточные примеры и выстраивает оставшиеся по убыванию ценности.

Weak-to-Strong Consistency Calibration (WSC) подключает слабую модель из того же семейства. Она оценивает, насколько уверенно может реконструировать демонстрацию. Чем ниже уверенность, тем мягче вклад примера при декодировании: он не выбрасывается, а получает меньший вес.

Что показали измерения

• Среднее улучшение над сильнейшим базовым методом в том же режиме: +1,7 пункта на пяти vision-language бенчмарках.
• Максимальный прирост: +2,4 пункта на VizWiz.
• На ScienceQA-IMG сокращается разрыв в качестве для вопросов, которые требуют визуальной информации.
• При 30% зашумлённых демонстраций метод сохраняет большую часть выигрыша.
• Задержка выше на 26%, офлайн-кэш эту надбавку amortизирует.
• Формат эксперимента: чередующиеся 4-shot промпты, LVLM заморожена, обучения нет.

Кому это пригодится

Главный практический плюс в том, что метод ложится поверх уже развёрнутой модели. Если вы используете закрытую или слишком дорогую для дообучения LVLM, а задачу решаете few-shot промптом, например для описания изображений для слабовидящих (VizWiz как раз оттуда) или для разбора учебных материалов, то улучшения можно искать в подготовке примеров, не трогая веса.

Ограничения тоже видны. Нужна вторая, слабая модель для WSC. Один дополнительный проход на каждого кандидата в IDS растёт вместе с пулом примеров, поэтому без кэша 26% задержки заметны в интерактивных сценариях. Прирост в 1,7 пункта скромный и измерен авторами на 4-shot. Как он поведёт себя на длинных контекстах с десятками демонстраций, из аннотации не следует. Работа пока препринт без независимой проверки, так что перед внедрением стоит прогнать метод на собственных данных и сравнить с простым отбором примеров.