Hallucination Self-Play: небольшая языковая модель обогнала крупные LLM в детекции галлюцинаций

Исследовательская группа опубликовала в июле 2026 года на arXiv препринт с описанием фреймворка Hallucination Self-Play (HSP) — системы взаимного обучения детектора и генератора галлюцинаций. На бенчмарке RAGTruth небольшая языковая модель, прошедшая цикл HSP, сравнялась или превзошла продвинутые LLM без единой строчки внешней разметки.

Почему детектировать галлюцинации так сложно

Главная проблема при обучении детекторов галлюцинаций — острая нехватка качественно размеченных данных. Существующие подходы используют крупные языковые модели для автоматического создания обучающих примеров: галлюцинированные утверждения, метки достоверности, объяснения. Это снижает зависимость от ручного труда — но создаёт другое ограничение: генератор остаётся статичным инструментом.

Данные создаются один раз и больше не обновляются, сколько бы ошибок ни допускал детектор. Галлюцинации в обучающем наборе не становятся хитрее по мере того, как модель совершенствуется. HSP устраняет именно этот изъян.

Как работает механизм самоиграния

Оба участника — детектор и генератор — инициализируются из одной базовой модели. Это принципиально: стартуя с равных позиций, генератор изначально способен создавать примеры, которые действительно способны «обмануть» детектор.

Фреймворк работает в три фазы:

• Фаза 1. Детектор дообучается на небольшом наборе с человеческой разметкой — учится оценивать, насколько ответ модели верен фактическому контексту (faithfulness).
• Фаза 2. Обученный детектор становится моделью вознаграждения. Генератор тренируется через RLAIF (Reinforcement Learning from AI Feedback): его задача — создавать галлюцинации, которые детектор не распознает. Чем убедительнее галлюцинация — тем выше награда.
• Фаза 3. Эволюционировавший генератор синтезирует новые, более трудные обучающие примеры, на которых детектор дообучается через rule-based RL. Цикл повторяется.

Возникает «гонка вооружений»: генератор делает галлюцинации всё менее уловимыми — детектор в ответ становится точнее.

Что показали эксперименты

Авторы тестировали HSP на бенчмарке RAGTruth, разработанном для оценки достоверности ответов в системах с расширенной генерацией (RAG). Тестирование проводилось на двух семействах языковых моделей.

• Метод — Hallucination Self-Play (HSP), препринт на arXiv, июль 2026 года
• Бенчмарк — RAGTruth (достоверность ответов в RAG-системах)
• Обе роли инициализируются из единой базовой модели
• Самоигровое улучшение — полностью без внешней разметки
• Код доступен в анонимном репозитории на GitHub (находится на ревью)

Ключевой результат: небольшая языковая модель, обученная по схеме HSP, достигает уровня или превосходит крупные LLM в задаче детекции галлюцинаций. Авторы особо подчёркивают: никакого дополнительного внешнего обучения на фазе самоиграния не требуется — прирост качества достигается исключительно за счёт взаимной эволюции детектора и генератора.

Что это значит

HSP предлагает практичный ответ на один из самых болезненных вопросов при развёртывании LLM в продакшне: как контролировать галлюцинации без бесконечной ручной разметки. Если результаты подтвердятся при независимом воспроизведении, метод может стать стандартным компонентом пайплайна для RAG-систем — особенно там, где цена фактической ошибки высока: медицина, право, финансовый анализ.