Аудит POPE: выбор токенов «yes/no» сдвигает F1 LLaVA-1.5 на 6,13 пункта

Авторы препринта пытались воспроизвести недавний результат по снижению галлюцинаций на бенчмарке POPE и упёрлись в саму оценку. Базовая LLaVA-1.5-7B показала на adversarial-сплите F1 82,21. Это на 1,21–8,67 пункта выше базовых линий, с которыми планировали сравнивать метод: 81,00, 79,30 и 73,54. Такой разброс выглядел подозрительно. Причина нашлась в коде: способ, которым из логитов вытаскивают ответ «да» или «нет», сам по себе двигает метрику.

Где ломается извлечение ответа

Реализация с двухтокенным считыванием сравнивает логиты двух ID словаря: 3582 («yes») и 1217 («no»). На 9000 вопросах по всем трём сплитам при жадном декодировании модель не сгенерировала ни один из этих токенов. Вместо них она выдаёт « Yes» (3869) и « No» (1939). SentencePiece добавляет байт пробела после суффикса промпта «ASSISTANT:», и слово получает другой идентификатор.

Авторы заменили считывание на таблицу из восьми токенов, покрывающую формы с пробелом. LLaVA-1.5-7B показала такие результаты:

• adversarial: F1 0,8221;
• popular: F1 0,8498;
• random: F1 0,8713;
• сдвиг на adversarial от смены считывания: 6,13 пункта.

Из последней цифры следует, что прежний вариант давал примерно 76,1 на adversarial. Это наш расчёт, в аннотации такое значение не приводится. Прирост от смены протокола превышает заявленный в пяти из шести обследованных статей. Ни одна из них не указывает, как извлекала ответ.

Что авторы не утверждают

Вывод осторожный. Эталонный прогон шёл в 4-битной квантизации NF4, поэтому нельзя сказать, какая доля заявленных приростов выдержала бы проверку при одинаковом считывании и одинаковой точности. Вопрос остаётся открытым, пока не совпадут оба параметра. Обвинения в завышении результатов в работе нет. Речь о том, что сравнения без описанного протокола нельзя считать корректными.

На исправленной базовой линии авторы прогнали девять собственных коррекций на этапе инференса. Ни одна её не превзошла. Они также проверили, почему adversarial-сплит не поддаётся вмешательству на уровне логитов. В выборке из 3000 вопросов неверные ответы получали больше внимания к изображению, чем верные: Cohen's d = −0,46, p = 1,4×10⁻²⁴. Это противоречит допущению методов, которые усиливают привязку к картинке. Они исходят из того, что ошибка возникает от недостатка внимания к изображению.

Проблема протокола, а не одной модели

Чтобы проверить, что дело не в LLaVA, авторы взяли ещё четыре VLM из трёх семейств токенизаторов. Перенос ID от LLaVA-1.5 без изменений обнуляет F1 на двух моделях с непересекающимися словарями. Считывание, выведенное из токенизатора конкретной модели, держится в диапазоне 0,80–0,92. Значит, бенчмарк чувствителен к деталям токенизации в любой связке модели и промпта.

Что делать при сравнении моделей

Практический вывод для тех, кто публикует или читает результаты на POPE и похожих yes/no-бенчмарках:

• Проверяйте, какие токены реально появляются при жадном декодировании, до подсчёта метрик.
• Строите таблицу допустимых ответов из токенизатора конкретной модели, включая формы с пробелом и разным регистром.
• Указывайте способ считывания и точность весов (например, NF4 или fp16) в описании эксперимента.
• Пересчитывайте чужие базовые линии своим кодом, а не берите цифры из таблиц.

Пока протокол не зафиксирован, разница в один-два пункта F1 на POPE может отражать выбор токенов, а не качество метода борьбы с галлюцинациями.