OvisOCR3: модель на 0,8 млрд параметров читает документы лучше специализированных систем

Команда ATH-MaaS представила OvisOCR3 — модель для распознавания и анализа документов весом всего 0,8 миллиарда параметров, которая одновременно справляется с пятью разными задачами и по многим метрикам обходит узкоспециализированные системы. Модель доступна на HuggingFace в открытом доступе.

Почему одна маленькая модель вместо пяти специализированных

Обычно для разбора документов нужен целый набор инструментов: один распознаёт печатный текст, другой — таблицы, третий заточен под извлечение полей из форм, четвёртый описывает графики и картинки, пятый сшивает таблицы, разорванные между страницами PDF. Держать и обслуживать пять моделей дороже и сложнее, чем одну. Но просто смешать все задачи в одном обучающем наборе не получится: полная разметка страницы — это тысячи токенов текста, а извлечение одного поля из счёта — всего несколько слов. Если считать потери при обучении токен за токеном, длинные задачи «забьют» короткие, и модель станет хуже справляться с точечным извлечением данных.

Авторы решили эту проблему через четырёхэтапное обучение. Сначала модель на базе Qwen3.5-0.

8B прошла дообучение на 72 миллионах примеров — это и учебники, и отчёты, и рукописные заметки, и фотографии документов на телефон. Затем набор данных пересобрали так, чтобы каждая из пяти задач получала примерно равную долю внимания модели (16–23% от 8,8 миллиона примеров на каждую), независимо от длины ответа. После этого в дело вступили пять «учителей» — отдельных моделей по 4 миллиарда параметров, каждая эксперт в своей узкой области.

Они передали свои знания итоговой маленькой модели через так называемую дистилляцию на политике (on-policy distillation): модель учится исправлять собственные ошибки под контролем учителя, а не воспроизводить его ответы напрямую. Завершающий этап — обучение с подкреплением, где за каждую из пяти задач модель получает отдельное вознаграждение, настроенное именно под её специфику.

Что умеет модель на практике

OvisOCR3 покрывает пять направлений:

• Разбор документов — восстанавливает структуру страницы: текст, формулы в LaTeX, таблицы в HTML, порядок чтения и расположение блоков на изображении
• Общее распознавание текста (OCR) — десять разных режимов: от простого чтения текста до перевода надписей, распознавания формул, разбора графиков и визуальных вопросов-ответов с рассуждением
• Извлечение ключевой информации — вытаскивает поля из форм, счетов, медицинских документов либо по заданной пользователем схеме, либо самостоятельно определяя, что в документе важно
• Описание изображений в документах — находит фото, иллюстрации, графики и блок-схемы на странице и даёт им короткое текстовое описание (до 100 слов), а для блок-схем строит диаграмму связей
• Восстановление таблиц между страницами — если таблица в отчёте разрезана переходом на следующую страницу, модель определяет этот разрыв и склеивает фрагменты в одну целую таблицу

Результаты на тестах

На бенчмарке OmniDocBench v1.6, который оценивает точность распознавания текста, формул, таблиц и правильность порядка чтения, модель набрала 96,74 балла из 100 — лучший результат среди протестированных систем. На трёх других тестах разбора документов (PureDocBench, Real5-OmniDocBench, MDPBench) она тоже оказалась впереди всех сравниваемых моделей.

На OCRBench v2 — тесте, который проверяет распознавание текста в сложных условиях на двух языках — OvisOCR3 заняла первое место с результатом 65,9 балла на английском и 61,3 на китайском. Она также обошла конкурентов на всех четырёх тестах извлечения информации из документов (KIE) и на обычном OCRBench.

Для описания картинок в документах модель показала лучшую точность определения границ изображения и подписи, по качеству близкие к результатам Qwen3.8-Max — модели, которая заметно крупнее. В задаче склейки таблиц между страницами OvisOCR3 обогнала конкурентов по точности восстановления связей между фрагментами таблицы (CrossTabBench) и по качеству восстановления обрезанных таблиц (MPDocBench-Parse).

Что это значит для инженеров

Практический вывод: не обязательно держать зоопарк из пяти разных моделей под разные типы документов — одна компактная модель на 0,8 млрд параметров, если её правильно обучить, закрывает весь спектр задач с качеством на уровне специалистов. Это снижает затраты на инфраструктуру и упрощает деплой для команд, которым нужно обрабатывать смешанные потоки документов: сканы, фото, формы, отчёты с таблицами и графиками. Авторы при этом открыто показывают, что без перебалансировки обучающих данных по задачам и без дистилляции от специализированных учителей такой результат на компактной модели не получить — просто смешать датасеты недостаточно.