semCER взвешивает ошибки OCR по тяжести: 61 млн оценок LLM-судьи

Character Error Rate считает расстояние между распознанным текстом и эталоном и делит его на длину эталона. Для CER ошибка в одной букве в слове «Иванов» и ошибка в слове «и» в середине абзаца стоят одинаково. Команда авторов статьи предлагает метрику semCER: она сохраняет выравнивание и знаменатель CER, но каждую правку на уровне графемы оценивает LLM-судья. Размер выборки внушительный: 61 млн оценённых правок на 16 языках, и всё это выложено в открытый доступ.

Как устроена метрика

Главное инженерное решение в том, что semCER не ломает привычную арифметику. Выравнивание остаётся прежним, знаменатель тоже. Меняется только цена каждой правки: вместо единицы судья назначает ей вес по тяжести. Сегментация на слова не требуется, а это важно для китайского, где границы слов не отмечены пробелами, и для языков с богатой морфологией.

Такой подход сохраняет сопоставимость с прежними результатами. Если вы годами отслеживали CER своего OCR-пайплайна, переход не потребует пересчитывать всё с нуля: структура счёта та же, меняются только веса.

Что показали проверки на читателях

Авторы сравнивали оценки метрики с оценками живых читателей на английском, вьетнамском и китайском. Веса semCER совпадают с человеческими рейтингами правка за правкой, а самые тяжёлые, по мнению читателей, ошибки оказываются в верхней части отсортированного списка. На парах, где CER и semCER расходились во мнениях, читатели чаще соглашались с semCER, чем с нормализованным CER, в английском и китайском. Во вьетнамском счёт равный.

Есть и честная оговорка. Для итогового балла всей транскрипции нормализованный CER коррелирует с читателями так же хорошо, как semCER, а иногда лучше. Ценность semCER в другом: он раскладывает этот балл на отдельные именованные правки. Метрика становится диагностическим инструментом, а не просто новым числом.

Ключевые результаты из статьи:

• 61 млн оценённых LLM-судьёй правок, 16 языков;
• проверка на людях: английский, вьетнамский, китайский;
• на спорных парах читатели выбирают semCER чаще, чем нормализованный CER, в английском и китайском, во вьетнамском поровну;
• в испанском неверный диакритик или тоновый знак судья оценивает почти в ноль, в телугу почти как неверную букву;
• вместе с данными выложен дистиллированный скорер, то есть вызывать большую LLM для каждой оценки не обязательно.

Разброс по языкам отражает реальность: в испанском потеря акцента редко меняет смысл, а в телугу знак входит в состав буквы и определяет, какое слово прочитает человек. Плоский CER этой разницы не видит.

Ошибки, которые выглядят как слова

Отдельный результат касается типа ошибок. Там, где можно посчитать реальные слова, неверная буква в выводе универсальной VLM образует существующее слово заметно чаще случайного уровня. У классического OCR-пайплайна эта доля остаётся около случайной. Для практики вывод неприятный: языковая модель исправляет текст в сторону правдоподобного, и ошибка превращается в фразу, которая читается гладко, но говорит не то. Такую ошибку труднее поймать при вычитке, чем кракозябру.

Как использовать в оценке OCR

Для команд, которые сравнивают VLM и классические движки на документах, схема простая. Итоговый балл можно по-прежнему считать нормализованным CER. semCER стоит запускать поверх него для разбора: отсортировать правки по тяжести и посмотреть, какие ошибки модель допускает на именах, числах и диакритике. Особенно полезно это для многоязычных пайплайнов, где одинаковый CER на испанском и телугу означает разный ущерб. Дистиллированный скорер из репозитория nguyenx2t/semcer позволяет делать это без обращения к LLM-судье на каждый документ. Ограничение очевидно: веса задаёт LLM, поэтому для критичных доменов, вроде медицины или юриспруденции, их стоит выборочно сверять с оценками своих специалистов.