Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуVoyage AI→ оригинал

Voyage AI научила поиск понимать видео: точнее Google на 4,65% и в 6 раз дешевле

Voyage AI выпустила voyage-multimodal-3.5: модель превращает текст, скриншоты, PDF и теперь видео в числовые векторы, чтобы один текстовый запрос находил нужный фрагмент, например момент созвона про дедлайн. На трёх видеонаборах она находит нужный ролик на 4,65% точнее Google Multimodal Embedding 001, а ролик 512×512 обходится примерно в 6 раз дешевле. Для поиска по лекциям и записям это одна модель вместо связки распознавания речи и индекса кадров.

AI-обработка оригинала Voyage AI; редакция Hamidun News
Voyage AI научила поиск понимать видео: точнее Google на 4,65% и в 6 раз дешевле
Источник: Voyage AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникVoyage AI ↗
Главный редактор
Ключевой факт #1Вектор можно сжать до 1024, 512 или 256 чисел вместо 2048 (Matryoshka)
Ключевой факт #2На документах впереди Cohere Embed v4 на 4,56% на 15 наборах
Ключевой факт #3Первые 200 млн токенов и 150 млрд пикселей бесплатны

Представьте, что у вас есть сотня записей созвонов со слайдами и вы хотите найти момент, где обсуждали сдвиг дедлайна. Обычный текстовый поиск тут не поможет: половина информации лежит в кадрах, а не в словах. Voyage AI выпустила модель voyage-multimodal-3.5, которая превращает в векторы (наборы чисел, по которым находят похожее по смыслу) и текст, и картинки, и видео. На трёх тестовых наборах по видео она находит нужное на 4,65% точнее эмбеддинг-модели Google Multimodal Embedding 001 по метрике NDCG@10, а один ролик 512×512 пикселей обходится примерно в 6 раз дешевле. NDCG@10 показывает, насколько высоко в десятке лучших результатов оказались действительно подходящие.

Что умеет модель

Предыдущая версия уже понимала вперемешку текст и изображения: скриншоты, PDF, таблицы, графики, слайды. Новая добавляет видеокадры. Видео подаётся как упорядоченная последовательность кадров, причём каждые 1120 пикселей считаются одним токеном, а максимальный контекст составляет 32 тысячи токенов. Voyage называет модель первой промышленной видеоэмбеддинг-моделью с поддержкой Matryoshka: вектор можно укоротить с 2048 до 1024, 512 или 256 измерений и сэкономить место в индексе.

Есть и архитектурная деталь. Модели в духе CLIP, к которым относятся прежние мультимодальные модели Cohere, пропускают текст и картинки через две независимые «башни». Из-за этого возникает известный перекос: текстовый запрос охотнее находит посторонний текст, чем подходящую картинку, потому что текстовые векторы лежат ближе друг к другу. Voyage пропускает все типы данных через один общий трансформер. По заявлению компании, сходство в общем пространстве тогда отражает смысл, а не формат файла.

Цифры из тестов

Voyage проверяла модель на 18 мультимодальных наборах: 15 с поиском по документам в виде изображений и 3 с поиском по видео. Запрос везде был текстовым, а находить нужно было фигуру, фото, текст, скриншот документа или их сочетание. Для каждой задачи брали лучшие на тот момент модели. Из каждого запроса выбирали 10 результатов по косинусному сходству.

  • На видео: на 4,65% точнее Google Multimodal Embedding 001 и примерно в 6 раз дешевле за ролик 512×512.
  • На документах: на 4,56% точнее Cohere Embed v4 по итогам 15 наборов.
  • На чистом тексте (38 наборов из шести областей: право, финансы, переписка, код, веб, техдокументация) отстаёт от флагманской текстовой voyage-3-large всего на 0,29%, но дешевле на $0,06 за миллион токенов.

Есть нюанс. В резюме анонса преимущество над Cohere указано как 4,56%, а в разделе по документам фигурирует 2,26%. Вероятно, это разные способы агрегации, но вывод один: перевес над Cohere есть, но умеренный. От Google на документах отрыв гораздо больше, 30,57%. Правда, Voyage отмечает, что у Google средний результат там 51,78%, и на графике его округлили до 65% для наглядности. По видео сравнение есть только с Google. Все замеры выполнила сама Voyage.

Как использовать на практике

Для видео компания даёт три правила. Во-первых, длинные записи режьте на сцены, чтобы каждый вектор описывал один связный эпизод. Во-вторых, совмещайте границы кусков с паузами в расшифровке речи, чтобы фрагмент содержал законченную мысль. В-третьих, если сцена не влезает в 32 тысячи токенов, снижайте разрешение или частоту кадров. В пакете voyageai для подготовки ролика есть утилита Video.from_path.

Квантизация даёт ещё один рычаг экономии: доступны 32-битные числа, знаковые и беззнаковые 8-битные целые и бинарный формат, при этом качество падает минимально. Для индекса на миллионы видеосцен это прямая экономия памяти.

Кому это пригодится: командам, которые ищут по обучающим курсам, демо-роликам, созвонам со слайдами или сканам договоров. Раньше приходилось расшифровывать речь, отдельно индексировать кадры и склеивать результаты. Теперь можно попробовать единый индекс. Первые 200 млн токенов и 150 млрд пикселей бесплатны, так что прототип на своих данных соберётся без затрат. Перед переездом прогоните модель на собственном наборе запросов: тесты вендора не заменяют проверку на реальных данных.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что умеет модель?

Предыдущая версия уже понимала вперемешку текст и изображения: скриншоты, PDF, таблицы, графики, слайды. Новая добавляет видеокадры. Видео подаётся как упорядоченная последовательность кадров, причём каждые 1120 пикселей считаются одним токеном, а максимальный контекст составляет 32 тысячи токенов. Voyage называет модель первой промышленной видеоэмбеддинг-моделью с поддержкой Matryoshka: вектор можно укоротить с 2048 до 1024, 512 или 256 измерений и сэкономить место в индексе. Есть и архитектурная деталь.

Что известно по теме: цифры из тестов?

Voyage проверяла модель на 18 мультимодальных наборах: 15 с поиском по документам в виде изображений и 3 с поиском по видео. Запрос везде был текстовым, а находить нужно было фигуру, фото, текст, скриншот документа или их сочетание. Для каждой задачи брали лучшие на тот момент модели. Из каждого запроса выбирали 10 результатов по косинусному сходству. На видео: на 4,65% точнее Google Multimodal Embedding 001 и примерно в 6 раз дешевле за ролик 512×512.

Что известно по теме: как использовать на практике?

Для видео компания даёт три правила. Во-первых, длинные записи режьте на сцены, чтобы каждый вектор описывал один связный эпизод. Во-вторых, совмещайте границы кусков с паузами в расшифровке речи, чтобы фрагмент содержал законченную мысль. В-третьих, если сцена не влезает в 32 тысячи токенов, снижайте разрешение или частоту кадров. В пакете voyageai для подготовки ролика есть утилита Video.from_path.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…