Эмбеддер pplx находит нужный скан с первого раза в 68% случаев, EmbeddingGemma — в 38%
Раньше скан договора сначала переводили в текст через OCR, а теперь модель может искать страницу прямо по картинке. Data Scientist из Raft Digital Solutions сравнил три такие модели: на вопрос вроде «в каком договоре штраф 0,1% в день?» pplx-embed-late ставит нужную страницу на первое место в 68% случаев на DocVQA, EmbeddingGemma-2 — в 38%. Сжатие страницы до 1 Мп почти не вредит качеству. Для сканов и таблиц стоит брать pplx, но закладывать больше места под индекс.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте архив из тысяч договоров, счетов и отчётов. Сотрудник спрашивает: «В каком договоре штраф за просрочку 0,1% в день?», и система должна вернуть нужную страницу.
Обычно скан сначала превращают в текст через OCR, режут на куски и кладут в RAG. Для сплошного текста это работает, но в таблицах, графиках и схемах смысл живёт в расположении значений, а не в словах. Data Scientist Артём из Raft Digital Solutions проверил альтернативу: мультимодальные эмбеддеры, которые строят числовой вектор страницы прямо по её изображению.
Главная метрика теста — hit@1: доля вопросов, у которых нужная страница оказалась в выдаче на первом месте. На сканах DocVQA лучшая модель, pplx-embed-late (в статье просто pplx), набрала 68%, а EmbeddingGemma-2 — 38%. Если вы строите поиск по документам, это подсказка, какую модель пробовать первой.
Кто участвовал и как мерили
Сравнивались три модели. WeMM-2B даёт один вектор на страницу в 2048 измерений и умеет принимать картинку вместе с текстом. EmbeddingGemma-2 тоже даёт один вектор, но всего в 768 измерений; картинка занимает по умолчанию 280 токенов из бюджета 8192. pplx-embed-late устроена иначе: вектор на каждый токен (по 128 измерений) и поиск по схеме late interaction (MaxSim), где близость вопроса и страницы считается по лучшим парам токенов. Смешанный вход «картинка плюс текст» она не поддерживает.
Тест устроен просто: все страницы набора превращаются в векторы и кладутся в Qdrant, вопрос тоже превращается в вектор, база возвращает 20 ближайших страниц. Если у вопроса несколько подходящих страниц, засчитывается любая. Интервалы 95% считались бутстрепом на 2000 повторов, а в каждом прогоне был контроль с перемешанными вопросами: его hit@1 должен быть ниже 10%, иначе модель угадывает не по смыслу.
Что получилось по типам страниц
На сканах впереди pplx. DocVQA: 67,8% у pplx, 60,5% у WeMM-2B и 38% у EmbeddingGemma-2. На русских деловых сканах — 89%, 84,6% и 38,2%. На внутреннем корпусе компании (46 вопросов) — 78,3%, 60,9% и 21,7%. Финансовые таблицы TAT-DQA тоже за pplx: 65% против 57,8% и 30,6%.
С графиками картина смешанная. Если вопрос про общий вид, чуть лучше WeMM-2B: на ChartQA 69,1% против 61,1% у pplx и 51,4% у EmbeddingGemma-2. Но когда нужно найти график по точному значению, вперёд уходит pplx: на синтетических графиках ВВП 82,4% против 39,7% у WeMM-2B. Однотипные синтетические таблицы, где различаются лишь несколько ячеек, pplx находит в 94,7% случаев, WeMM-2B — в 37,3%.
Инфографику и презентации лучше всех ищет WeMM-2B: 85,2% на InfoVQA и 94,6% на SlideVQA, pplx почти вровень (84,6% и 93,7%). EmbeddingGemma-2 на всех реальных наборах позади.
Сжатие, железо и оговорки
Страницу можно ограничить 1 мегапикселем: токенов, то есть кусочков картинки для модели, становится в 1,8–2,2 раза меньше. На сканах у WeMM-2B hit@1 при этом не меняется, у pplx на DocVQA падает на 2 процентных пункта. При 0,25 Мп качество заметно проседает у обеих моделей.
Цена точности pplx — размер индекса: вектор на каждый токен занимает заметно больше места, чем один вектор на страницу, и это нужно закладывать в бюджет хранилища и GPU. Если ресурсов мало и важна скорость, остаётся EmbeddingGemma-2, но с ощутимой потерей качества.
Цифры разных наборов напрямую сравнивать нельзя: пулы страниц и вопросы различаются. Схемы и интерфейсы проверялись только на синтетике — это проверка механизма, а не оценка на реальных документах. У русского набора всего 10 независимых страниц, а у внутреннего корпуса 46 вопросов, поэтому выводы по ним менее надёжны.
Практический вывод: для поиска по сканам и таблицам начните с pplx-embed-late и заранее оцените размер индекса. Для презентаций и графиков «по общему виду» хватит WeMM-2B. Ограничьте картинку 1 Мп и замерьте качество на собственных документах: на них порядок моделей может отличаться от публичных наборов.
- 9 окт. 2026 г.LLM-разработка в 2026: RAG, агенты и выбор моделей
- 31 июл. 2026 г.Perplexity выпустила pplx: CLI для Search API прямо в терминале за $5 за 1000 запросов
- 27 окт. 2026 г.Meta открыла Muse Spark на 816B, Reflection выпустила Beam под Apache 2.0
- 27 февр. 2026 г.Perplexity выпустила pplx-embed: модели эмбеддингов, которые меняют правила поиска
Вопросы и ответы по материалу
Что известно по теме: кто участвовал и как мерили?
Сравнивались три модели. WeMM-2B даёт один вектор на страницу в 2048 измерений и умеет принимать картинку вместе с текстом. EmbeddingGemma-2 тоже даёт один вектор, но всего в 768 измерений; картинка занимает по умолчанию 280 токенов из бюджета 8192. pplx-embed-late устроена иначе: вектор на каждый токен (по 128 измерений) и поиск по схеме late interaction (MaxSim), где близость вопроса и страницы считается по лучшим парам токенов. Смешанный вход «картинка плюс текст» она не поддерживает.
Что известно по теме: что получилось по типам страниц?
На сканах впереди pplx. DocVQA: 67,8% у pplx, 60,5% у WeMM-2B и 38% у EmbeddingGemma-2. На русских деловых сканах — 89%, 84,6% и 38,2%. На внутреннем корпусе компании (46 вопросов) — 78,3%, 60,9% и 21,7%. Финансовые таблицы TAT-DQA тоже за pplx: 65% против 57,8% и 30,6%. С графиками картина смешанная. Если вопрос про общий вид, чуть лучше WeMM-2B: на ChartQA 69,1% против 61,1% у pplx и 51,4% у EmbeddingGemma-2.
Что известно по теме: сжатие, железо и оговорки?
Страницу можно ограничить 1 мегапикселем: токенов, то есть кусочков картинки для модели, становится в 1,8–2,2 раза меньше. На сканах у WeMM-2B hit@1 при этом не меняется, у pplx на DocVQA падает на 2 процентных пункта. При 0,25 Мп качество заметно проседает у обеих моделей. Цена точности pplx — размер индекса: вектор на каждый токен занимает заметно больше места, чем один вектор на страницу, и это нужно закладывать в бюджет хранилища и GPU.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.