MULTIFINGROUND: LLM узнают бухгалтерские понятия на 99%, но теряют факты

Языковые модели почти безошибочно понимают, о какой статье отчётности идёт речь, но спотыкаются, когда нужно собрать все связанные с ней числа. Авторы бенчмарка MULTIFINGROUND прогнали 15 моделей через годовые раскрытия 90 эмитентов за FY2025 на английском, французском и греческом. Восемь референсных моделей, API и open-weight, распознают бухгалтерский концепт с точностью 97,3–99,4%. При этом в 26,6–41,9% верно распознанных групп они упускают минимум один целевой факт.

Как устроен бенчмарк

Сравнение отчётности между странами держится на двух навыках. Сначала нужно понять, что разные формулировки на разных языках описывают один и тот же учётный концепт. Затем нужно найти все числа, которые этот концепт выражают: в основных формах, примечаниях, пояснительном тексте. Существующие тесты оценивают эти навыки по отдельности, и по ним трудно понять, получаются ли оба на одном и том же материале.

MULTIFINGROUND закрывает этот пробел. Отчёты составлены независимо, это не переводы друг друга, поэтому подсмотреть параллельный текст модель не может. Авторы выровняли документы через общую бухгалтерскую таксономию и сделали аннотации на уровне отдельных фактов, прослеживаемые до источника. Бенчмарк проверяет четыре задачи:

• идентификация финансового факта;
• распознавание концепта;
• исчерпывающий отбор всех фактов, относящихся к концепту;
• различение концептов без заранее заданных кандидатов.

Что показали цифры

Ключевые параметры и результаты исследования:

• 90 эмитентов, отчётность за FY2025;
• 3 языка: английский, французский, греческий;
• 15 протестированных моделей;
• 97,3–99,4% точности распознавания концепта у восьми референсных моделей;
• 26,6–41,9% верно распознанных групп с хотя бы одним пропущенным фактом.

Название статьи, Recognition Is Not Grounding, точно описывает результат. Распознавание концепта по сути классификация: модель видит контекст и выбирает метку. Исчерпывающее извлечение устроено иначе. Нужно пройти по всему материалу, принять решение по каждому числу и ничего не потерять. Модель может безошибочно понять, что речь идёт, скажем, о выручке, и всё равно не собрать все её проявления в документе. Причины авторы в аннотации не раскрывают. Но сам разрыв заметен лишь потому, что оба навыка измерены на одних и тех же данных.

Две другие находки не менее важны. Качество различения концептов без подсказок-кандидатов сильно варьируется между моделями, то есть свободная постановка задачи отсеивает больше, чем выбор из готового списка. А финансово-специализированные модели из выборки дали ограниченный выигрыш. Дообучение на отраслевых текстах не закрывает проблему полноты.

Что проверить в своём пайплайне

Если вы строите извлечение данных из отчётности, например для скрининга эмитентов или сравнения компаний из разных юрисдикций, то accuracy классификации концептов вводит в заблуждение. Цифра в 99% выглядит убедительно, но не говорит, сколько фактов из группы дошло до итоговой таблицы. Метрикой должен быть recall на уровне фактов, а ещё лучше доля групп, где найдены все целевые числа.

Тестировать стоит и без списка кандидатов: в реальных задачах таксономия редко подаётся модели готовой. Результаты полезно считать отдельно по языкам, особенно если среди них есть менее ресурсные, как греческий. Покупать специализированную финансовую модель в расчёте на лучшую полноту пока не стоит: по этим данным выигрыш невелик. Надёжнее выстроить вторую проходку, программную сверку извлечённых чисел с таксономией там, где она есть, и ручную проверку для критичных позиций. Модель, которая правильно называет концепт, ещё не гарантирует, что вы получили все числа, на которых он держится.