Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Эмбеддер pplx находит нужный скан с первого раза в 68% случаев, EmbeddingGemma — в 38%

Раньше скан договора сначала переводили в текст через OCR, а теперь модель может искать страницу прямо по картинке. Data Scientist из Raft Digital Solutions сравнил три такие модели: на вопрос вроде «в каком договоре штраф 0,1% в день?» pplx-embed-late ставит нужную страницу на первое место в 68% случаев на DocVQA, EmbeddingGemma-2 — в 38%. Сжатие страницы до 1 Мп почти не вредит качеству. Для сканов и таблиц стоит брать pplx, но закладывать больше места под индекс.

AI-обработка оригинала Habr AI; редакция Hamidun News
Эмбеддер pplx находит нужный скан с первого раза в 68% случаев, EmbeddingGemma — в 38%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Таблицы финотчётов TAT-DQApplx 65%, WeMM-2B 57,8%, EmbeddingGemma-2 30,6%
Графики ВВП, поиск по точному числуpplx 82,4%, WeMM-2B 39,7%
Слайды SlideVQAWeMM-2B 94,6%, pplx почти вровень — 93,7%

Представьте архив из тысяч договоров, счетов и отчётов. Сотрудник спрашивает: «В каком договоре штраф за просрочку 0,1% в день?», и система должна вернуть нужную страницу.

Обычно скан сначала превращают в текст через OCR, режут на куски и кладут в RAG. Для сплошного текста это работает, но в таблицах, графиках и схемах смысл живёт в расположении значений, а не в словах. Data Scientist Артём из Raft Digital Solutions проверил альтернативу: мультимодальные эмбеддеры, которые строят числовой вектор страницы прямо по её изображению.

Главная метрика теста — hit@1: доля вопросов, у которых нужная страница оказалась в выдаче на первом месте. На сканах DocVQA лучшая модель, pplx-embed-late (в статье просто pplx), набрала 68%, а EmbeddingGemma-2 — 38%. Если вы строите поиск по документам, это подсказка, какую модель пробовать первой.

Кто участвовал и как мерили

Сравнивались три модели. WeMM-2B даёт один вектор на страницу в 2048 измерений и умеет принимать картинку вместе с текстом. EmbeddingGemma-2 тоже даёт один вектор, но всего в 768 измерений; картинка занимает по умолчанию 280 токенов из бюджета 8192. pplx-embed-late устроена иначе: вектор на каждый токен (по 128 измерений) и поиск по схеме late interaction (MaxSim), где близость вопроса и страницы считается по лучшим парам токенов. Смешанный вход «картинка плюс текст» она не поддерживает.

Тест устроен просто: все страницы набора превращаются в векторы и кладутся в Qdrant, вопрос тоже превращается в вектор, база возвращает 20 ближайших страниц. Если у вопроса несколько подходящих страниц, засчитывается любая. Интервалы 95% считались бутстрепом на 2000 повторов, а в каждом прогоне был контроль с перемешанными вопросами: его hit@1 должен быть ниже 10%, иначе модель угадывает не по смыслу.

Что получилось по типам страниц

На сканах впереди pplx. DocVQA: 67,8% у pplx, 60,5% у WeMM-2B и 38% у EmbeddingGemma-2. На русских деловых сканах — 89%, 84,6% и 38,2%. На внутреннем корпусе компании (46 вопросов) — 78,3%, 60,9% и 21,7%. Финансовые таблицы TAT-DQA тоже за pplx: 65% против 57,8% и 30,6%.

С графиками картина смешанная. Если вопрос про общий вид, чуть лучше WeMM-2B: на ChartQA 69,1% против 61,1% у pplx и 51,4% у EmbeddingGemma-2. Но когда нужно найти график по точному значению, вперёд уходит pplx: на синтетических графиках ВВП 82,4% против 39,7% у WeMM-2B. Однотипные синтетические таблицы, где различаются лишь несколько ячеек, pplx находит в 94,7% случаев, WeMM-2B — в 37,3%.

Инфографику и презентации лучше всех ищет WeMM-2B: 85,2% на InfoVQA и 94,6% на SlideVQA, pplx почти вровень (84,6% и 93,7%). EmbeddingGemma-2 на всех реальных наборах позади.

Сжатие, железо и оговорки

Страницу можно ограничить 1 мегапикселем: токенов, то есть кусочков картинки для модели, становится в 1,8–2,2 раза меньше. На сканах у WeMM-2B hit@1 при этом не меняется, у pplx на DocVQA падает на 2 процентных пункта. При 0,25 Мп качество заметно проседает у обеих моделей.

Цена точности pplx — размер индекса: вектор на каждый токен занимает заметно больше места, чем один вектор на страницу, и это нужно закладывать в бюджет хранилища и GPU. Если ресурсов мало и важна скорость, остаётся EmbeddingGemma-2, но с ощутимой потерей качества.

Цифры разных наборов напрямую сравнивать нельзя: пулы страниц и вопросы различаются. Схемы и интерфейсы проверялись только на синтетике — это проверка механизма, а не оценка на реальных документах. У русского набора всего 10 независимых страниц, а у внутреннего корпуса 46 вопросов, поэтому выводы по ним менее надёжны.

Практический вывод: для поиска по сканам и таблицам начните с pplx-embed-late и заранее оцените размер индекса. Для презентаций и графиков «по общему виду» хватит WeMM-2B. Ограничьте картинку 1 Мп и замерьте качество на собственных документах: на них порядок моделей может отличаться от публичных наборов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: кто участвовал и как мерили?

Сравнивались три модели. WeMM-2B даёт один вектор на страницу в 2048 измерений и умеет принимать картинку вместе с текстом. EmbeddingGemma-2 тоже даёт один вектор, но всего в 768 измерений; картинка занимает по умолчанию 280 токенов из бюджета 8192. pplx-embed-late устроена иначе: вектор на каждый токен (по 128 измерений) и поиск по схеме late interaction (MaxSim), где близость вопроса и страницы считается по лучшим парам токенов. Смешанный вход «картинка плюс текст» она не поддерживает.

Что известно по теме: что получилось по типам страниц?

На сканах впереди pplx. DocVQA: 67,8% у pplx, 60,5% у WeMM-2B и 38% у EmbeddingGemma-2. На русских деловых сканах — 89%, 84,6% и 38,2%. На внутреннем корпусе компании (46 вопросов) — 78,3%, 60,9% и 21,7%. Финансовые таблицы TAT-DQA тоже за pplx: 65% против 57,8% и 30,6%. С графиками картина смешанная. Если вопрос про общий вид, чуть лучше WeMM-2B: на ChartQA 69,1% против 61,1% у pplx и 51,4% у EmbeddingGemma-2.

Что известно по теме: сжатие, железо и оговорки?

Страницу можно ограничить 1 мегапикселем: токенов, то есть кусочков картинки для модели, становится в 1,8–2,2 раза меньше. На сканах у WeMM-2B hit@1 при этом не меняется, у pplx на DocVQA падает на 2 процентных пункта. При 0,25 Мп качество заметно проседает у обеих моделей. Цена точности pplx — размер индекса: вектор на каждый токен занимает заметно больше места, чем один вектор на страницу, и это нужно закладывать в бюджет хранилища и GPU.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…