Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
Безопасность и правоРазбор · На радарХабр: Машинное обучение→ оригинал

X5 Tech и Т-Банк дообучили визуальный поиск: ColQwen3 достигла 0,84 nDCG@5

В корпоративных PDF нужный ответ часто спрятан в таблице или графике, а извлечённый текст теряет связи между числами и подписями. Авторы из X5 Tech и Т-Банка дообучили визуальный поиск на автоматически созданных и проверенных запросах к страницам. На закрытом тестовом корпусе ColQwen3-2B получила 0,84 nDCG@5 против 0,77 у лучшей текстовой модели.

AI-обработка оригинала Хабр: Машинное обучение; редакция Hamidun News
X5 Tech и Т-Банк дообучили визуальный поиск: ColQwen3 достигла 0,84 nDCG@5
Источник: Хабр: Машинное обучение. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникХабр: Машинное обучение ↗
Главный редактор
Ключевой факт #1Обучающие запросы генерируют и проверяют автоматически, без ручного составления.
Ключевой факт #2Тестовый корпус X5-private не использовали для обучения поисковой модели.
Ключевой факт #3Результат стоит проверить на своих PDF, отдельно измерив задержку и стоимость.

Если ваш поиск по корпоративным PDF находит слова из отчёта, но пропускает нужную таблицу, причина может быть в подготовке документов. При извлечении текста исчезают расположение ячеек, связь подписей с графиками и другие подсказки, которые человек считывает со страницы за секунды. Роман Макеев из X5 Tech и Егор Мачнев из Т-Банка описали работу над визуальным поиском, который учитывает такие документы как изображения страниц.

Главный результат из опубликованного анонса: дообученная ColQwen3-2B получила 0,84 nDCG@5 на закрытом корпусе X5-private. Лучшая текстовая модель в сравнении набрала 0,77. Для команды, которая строит поиск или RAG по сложным PDF, это повод проверить, сколько ответов теряется ещё до передачи документов языковой модели.

Зачем поиску видеть страницу

Представим отчёт о продажах. Пользователь спрашивает: «В каком регионе сильнее всего снизилась выручка?» Ответ находится в диаграмме: названия регионов стоят под столбцами, значения указаны рядом, период вынесен в заголовок. После извлечения текста эти элементы могут превратиться в последовательность слов и чисел, в которой трудно восстановить связи.

Это условный пример, а не описанный авторами тест. Но он объясняет практическую задачу визуального поиска: использовать внешний вид страницы там, где одного текста недостаточно. Такой подход особенно интересно проверять на презентациях, отчётах и документах с плотной вёрсткой. При этом сама найденная страница ещё не гарантирует правильного ответа: следующему компоненту системы нужно верно прочитать её содержимое.

В статье рассматриваются ColPali и ColQwen3, а также их адаптация к русскоязычному предметному корпусу. Из доступного анонса нельзя заключить, что любая визуальная модель обойдёт любой текстовый поиск. Подтверждён более узкий результат: конкретная дообученная модель показала лучший показатель в приведённом сравнении на одном закрытом наборе документов.

Обучающие запросы создают автоматически

Для адаптации поисковой модели нужны примеры того, какие запросы должны приводить к каким документам. Ручное составление таких примеров требует времени сотрудников, которые понимают содержание страниц и реальные задачи пользователей.

Авторы предлагают методологию, в которой документы становятся основой для автоматической генерации и проверки запросов к страницам. Составлять обучающие запросы вручную не требуется. Это наиболее полезная для переноса часть работы: команда получает способ готовить данные для своего предметного корпуса, а не только выбирать готовую модель по чужому рейтингу.

Однако автоматическая проверка сама требует оценки. Из анонса неясно, как именно она устроена, какие ошибки отбрасывает и насколько созданные запросы похожи на реальные обращения пользователей. Для внедрения стоит вручную просмотреть выборку: запрос должен иметь ответ на странице, соответствовать рабочей задаче и не выдавать ответ собственной формулировкой.

Что означает преимущество и как его проверить

nDCG@5 оценивает качество порядка первых пяти результатов с учётом их релевантности. Значение 0,84 нельзя читать как «84% правильных ответов». Разница с 0,77 составляет 0,07 пункта метрики; она характеризует выдачу поиска, а не точность всей системы ответов.

Авторы отдельно указывают, что X5-private не участвовал в обучении. Это существенная деталь, но закрытый корпус ограничивает независимую проверку. В анонсе также нет данных о размере выборки, статистической устойчивости преимущества, задержке и стоимости обработки документов.

Практический следующий шаг — собрать небольшой тест из собственных запросов и страниц с проверенными ответами. Сравните текущий текстовый поиск с визуальным на одинаковых документах, отдельно выделив таблицы, графики и обычный текст. Затем измерьте время индексации, скорость выдачи и качество итогового ответа. Если улучшение сосредоточено в сложных страницах, появится основание выбирать подход для разных типов документов. Решение о внедрении стоит принимать по этому измерению, а не по одному числу из чужого корпуса.

Источник: анонс статьи на Хабре.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем поиску видеть страницу?

Представим отчёт о продажах. Пользователь спрашивает: «В каком регионе сильнее всего снизилась выручка?» Ответ находится в диаграмме: названия регионов стоят под столбцами, значения указаны рядом, период вынесен в заголовок. После извлечения текста эти элементы могут превратиться в последовательность слов и чисел, в которой трудно восстановить связи. Это условный пример, а не описанный авторами тест.

Что известно по теме: обучающие запросы создают автоматически?

Для адаптации поисковой модели нужны примеры того, какие запросы должны приводить к каким документам. Ручное составление таких примеров требует времени сотрудников, которые понимают содержание страниц и реальные задачи пользователей. Авторы предлагают методологию, в которой документы становятся основой для автоматической генерации и проверки запросов к страницам. Составлять обучающие запросы вручную не требуется.

Что известно по теме: что означает преимущество и как его проверить?

nDCG@5 оценивает качество порядка первых пяти результатов с учётом их релевантности. Значение 0,84 нельзя читать как «84% правильных ответов». Разница с 0,77 составляет 0,07 пункта метрики; она характеризует выдачу поиска, а не точность всей системы ответов. Авторы отдельно указывают, что X5-private не участвовал в обучении. Это существенная деталь, но закрытый корпус ограничивает независимую проверку.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…