BILAL-Bench: шесть из семи открытых моделей уверенно выдумывают источники в 79–95% случаев

Когда языковая модель придумывает аят Корана или хадис (предание о словах и поступках пророка Мухаммеда), она наделяет выдумку авторитетом священного текста. Команда из Исламского технологического университета измерила масштаб проблемы на бенгальском языке. Бенчмарк BILAL-Bench включает 240 вопросов, проверенных экспертом по исламским наукам. Семь открытых моделей выдали 1 680 ответов, и шесть из семи уверенно выдумывают источники в 79,3–95,3% случаев, где нужна конкретная ссылка. Лишь 40 ответов из 1 680 оказались и верными, и правильно подкреплёнными источником.

Как устроен тест

Вопросы писали сразу на бенгальском, без перевода. Они делятся на пять категорий: атрибуция коранических аятов, хадисы, фикх (нормы религиозного права), современные вопросы без единого ответа и состязательные запросы с ложной посылкой. Эталонные ответы брали из бенгальского перевода Корана Исламского фонда Бангладеш, бенгальских изданий шести канонических сборников хадисов и фетва-порталов. Затем их сверил квалифицированный эксперт. В фикхе эталоном выбрана ханафитская позиция. Авторы подчёркивают, что это дизайнерское решение, а не утверждение, что другие школы неправы.

Разметка двухосевая. Первая ось фиксирует тип ошибки источника: полная выдумка, неверная атрибуция, неподтверждённое утверждение, уместный отказ или поправка ложной посылки. Вторая ось показывает, звучит ответ уверенно или с оговорками. Главная метрика — доля уверенных выдумок среди всех ответов, причём ответы без утверждения остаются в знаменателе. Два носителя бенгальского с профильным образованием размечали все ответы вслепую. Каппа Коэна (согласованность разметчиков) составила 0,864 по восьми классам и 0,893 после укрупнения.

Модели получали одну нейтральную инструкцию без системного сообщения, примеров и подсказки быть осторожнее. Генерация шла жадным декодированием, лимит составлял 512 токенов. В тест вошли TigerLLM-1B-it, TituLM-gemma-2-2b, Gemma-2-9B-it, GPT-OSS-120B и три варианта BanglaLLaMA: 3.2-3B-instruct, 3.1-8B-instruct и 3.1-8B-no-pretrain.

Масштаб не спасает, хадисы хуже всего

В категориях со ссылками GPT-OSS-120B уверенно фабрикует в 93,3% ответов, а BanglaLLaMA-3.2-3B-instruct, в сорок раз меньшая, в 90,0%. Доверительные интервалы пересекаются. Самый низкий показатель среди шести у TituLM-gemma-2-2b: 79,3%. У TigerLLM-1B-it формально лучше, 63,3%, но 43 из 150 его ответов не содержат никакого утверждения, и ни одного верно подкреплённого источником ответа у модели нет. Низкая фабрикация здесь отражает молчание, а не точность.

Хуже всего модели справляются с происхождением хадисов. Из 315 ответов верны и правильно подкреплены источником только два. Три модели выдумывают источник в каждом ответе этой категории, а минимальная доля фабрикации среди всех составляет 88,9%. GPT-OSS-120B дала 100%.

Форма ошибок тоже различается. У GPT-OSS-120B 166 случаев откровенной выдумки и всего один случай неподтверждённого утверждения. У TituLM-gemma-2-2b выдумок 16, зато 90 неподтверждённых утверждений. Обе картины плохи, но точная ссылка на несуществующий источник особенно опасна: читателю есть что искать и чему верить. Из 1 320 ответов с ошибками источника 1 316 (99,7%) звучат уверенно, так что оговорки почти не встречаются.

Где модели всё-таки различаются

Две версии BanglaLLaMA на 8B отличаются только тем, проходили ли они дополнительное предобучение на бенгальском. Доли уверенной фабрикации у них близки: 83,3% и 86,7%. Состав ошибок разный: у версии с дообучением 93 выдумки и 8 неверных атрибуций, у версии без него 84 и 17.

Сильнее всего модели расходятся в сдержанности. При ложных посылках Gemma-2-9B-it фабрикует в 40,0% случаев, GPT-OSS-120B в 91,1%. Число уместных отказов или поправок на всём бенчмарке колеблется от 6 у GPT-OSS-120B до 46 у Gemma-2-9B-it. Зависимости от числа параметров нет.

Практический вывод авторов: размер не снижает фабрикацию, поэтому полезнее искать другие рычаги. Это ретривал из проверенных бенгальских сборников, обучение осознанному отказу и автоматическая проверка того, что указанные сборник, рассказчик и номер хадиса существуют. Именно хадисы авторы называют самой острой точкой для дальнейших экспериментов.

Ограничения тоже существенны. Бенчмарк содержит 240 вопросов на одном языке, одну нейтральную инструкцию, жадное декодирование и ханафитский эталон в фикхе, поэтому результаты нельзя переносить на другие школы, языки и семейства моделей. Разброс в воздержании нужно проверять на большем числе моделей и стилей запросов. Сам BILAL-Bench — инструмент оценки, а не источник религиозных предписаний, и авторы прямо предостерегают от использования текущих открытых моделей для религиозных вопросов, включая поиск фетв. Код и данные опубликованы на GitHub в репозитории BILAL-Bench.