Tencent выпустила Youtu-Parsing-Omni: одна модель разбирает документы, аудио и видео

Tencent выпустила Youtu-Parsing-Omni, «парсер на все случаи»: модель читает страницы документов, фотографии, аудио и видео и превращает их в структурированную запись. В записи у каждого фрагмента есть координаты на изображении или временной отрезок. Такая запись служит слоем восприятия для ИИ-агентов. Агент один раз переводит вход в текст, а дальше любая языковая модель, в том числе без зрения и слуха, работает с этим текстом и ссылается на конкретный регион или интервал как на доказательство. Код и веса выложены в открытый доступ.

Зачем агентам заранее разобранный вход

Агенты на основе LLM всё чаще опираются на данные вне собственной памяти: ищут источники, вызывают инструменты, управляют компьютером через экран. Эти данные редко приходят чистым текстом. Чаще это PDF, скриншоты, записи звонков, ролики.

Если отдавать сырые пиксели и звук главной модели агента, возникают две проблемы:

• при каждом возвращении к материалу модель заново кодирует длинные последовательности визуальных и звуковых токенов; • ответ, полученный из пикселей или волны, сам не показывает, какой участок его подтверждает.

Parsing-Omni разбирает вход один раз. Дальше агент работает с текстовой записью и может проверить каждое утверждение по якорю.

Готовые решения такую задачу покрывают лишь частично. Парсеры документов хорошо справляются с обычными страницами, но химические структуры и ноты обычно оставляют узким специализированным моделям. Мультимодальные модели заточены под описание картинок и ответы на вопросы, а не под структурированный вывод с привязкой. Для разных типов входа приходится держать разные модели с разными форматами ответа.

Один энкодер вместо двух башен

В существующих омни-парсерах, включая Logics-Parsing-Omni, пиксели и звук кодируют два отдельно обученных энкодера. Их потоки впервые встречаются внутри языковой модели. Отсюда три проблемы: кадр и звук одного мгновения не сопоставляются при восприятии, у двух энкодеров независимый отсчёт времени, а каждая новая модальность требует новой башни со своим предобучением.

Youtu-Omni-Encoder устроен иначе:

• один общий трансформер с двунаправленным вниманием для всех модальностей, инициализированный весами предобученной текстовой языковой модели, чтобы лучше читать текст на картинках; • у каждой модальности только лёгкие «входные ножки» и выходные проекторы. Картинки и кадры режутся на патчи с одним линейным преобразованием, а звук превращается в лог-мел-спектрограмму и несколько сжимающих свёрток; • декодер — плотная текстовая модель, обученная по рецепту Youtu-LLM-2B. Он выдаёт только текст.

Новая модальность в такой схеме требует новой «ножки» и проектора, а не второй башни. Общие веса всё равно придётся дообучать на новом входе.

Как кадр и звук совмещают по времени

У энкодера единая система позиций. Диапазон частот вращательных позиций (RoPE) делится на сегменты под ширину, высоту и время. Кадр и звуковой токен получают позицию на общей временной шкале.

Общей шкалы мало, нужно ещё взаимодействие. Поэтому часть слоёв работает как слои слияния. Кадры и звуковые фрагменты видео упаковываются в хронологическом порядке, и новое окно внимания начинается на каждой границе «звук → кадр». Кадр видит звук того же момента. Так «какие слова звучат, пока на экране этот слайд» вычисляется на этапе восприятия, а декодеру не приходится восстанавливать это задним числом.

В остальных слоях у каждого кадра и фрагмента звука своё окно. Оба режима используют одни веса. При обучении видео идёт через слияние с заданной вероятностью, так что при выводе работают оба маршрута.

Одна схема и самообучение на своих ответах

Общий формат вывода называется OmniSchema. Это JSON с тремя обязательными полями: список локализованных единиц с содержимым, глобальное описание входа и служебные поля. Для изображений единица — элемент с рамкой в нормированных координатах, для аудио и видео — сегмент с началом и концом (точность до секунды) и идентификатором говорящего, единым на весь вход. Схема охватывает 10 задач и три типа входа: изображения (страницы и обычные фото), аудио и видео.

Единый формат позволил применить одну процедуру дообучения, OSAD (OmniSchema-Aware On-Policy Distillation). После обычного обучения на эталонах и обучения с проверяемой наградой модель учится на собственных разборах. «Учитель» — замороженная копия самой модели, которой дополнительно показывают эталонный ответ. Он даёт целевые распределения для каждого токена. Токены делятся по ролям: содержание или структура, и под каждую роль берётся своя функция потерь. После каждого раунда обученная модель становится новым учителем. Ручная функция награды и отдельная модель-учитель не нужны.

Что получилось

Один чекпойнт обслуживает все 10 задач. Авторы заявляют следующее:

• лучший результат на OmniDocBench v1.6, бенчмарке разбора страниц документов; • первое место среди открытых моделей на OmniParsingBench, который проверяет разбор изображений, звука и видео. Модель обошла Logics-Parsing-Omni, а главный отрыв пришёлся на аудио и видео; • лучший общий балл по разбору графиков; • самая высокая доля точных совпадений химических «отпечатков» молекул (метрика [email protected]) среди сравниваемых систем, включая DeepSeek-OCR 2; • в посимвольной расшифровке печатных нот модель на уровне специализированной LEGATO и сильно опережает универсальные системы.

Для инженеров вывод такой: вместо набора OCR-, ASR- и видеомоделей с разными форматами можно держать один парсер с проверяемыми ссылками на источник. Для бизнеса это путь к агентам, которые разбирают договоры, записи встреч и ролики и показывают, откуда взято каждое утверждение. Все цифры приведены по заявлению авторов, независимых замеров пока нет.