DialFork измерил процедурные галлюцинации агентов на 36 278 диалогах

Команда Idiap опубликовала DialFork, первый бенчмарк, который измеряет процедурные галлюцинации диалоговых агентов прямо на сыром тексте переписки. В датасете 36 278 англоязычных диалогов, 24 задачи, 12 доменов и 4 типа галлюцинаций. Данные и код выложены под лицензией MIT, а у проекта есть публичный лидерборд.

Авторы работы: Sergio Burdisso, Esaú Villatoro-Tello, Dairazalia Sánchez-Cortés, Yanis Labrak, Jordi Luque, Milos Cernak и Petr Motlicek.

Агент вежлив, факты верны, а результата нет

Проблему авторы объясняют на простом примере. Просишь LLM-агента проверить погоду. Он любезен, грамотен и не говорит ничего ложного. Но через двадцать реплик прогноза у тебя всё ещё нет. Агент перестал следовать процедуре, которую ему задали.

Это и есть процедурная галлюцинация. Фактчекеры её не видят, потому что утверждения в порядке. Покадровые метрики качества тоже пропускают её: каждая реплика по отдельности выглядит хорошо. Сбой проявляется только в траектории всего разговора.

Чем больше агентов ставят на службу поддержки, записи к врачу, сбора заявок и банковских сценариев, тем дороже обходится такой дрейф. Сценарий там задан жёстко, и отступление от него считается ошибкой, даже если звучит убедительно.

Как делают форк и откуда берётся разметка

Главная находка DialFork в том, что размечать ничего вручную не нужно. Берут диалог, где агент всё делает правильно. Воспроизводят его с тем же seed. В выбранный момент агенту дают новую инструкцию, и разговор «разветвляется».

Позиция развилки сразу даёт два ярлыка. Первый показывает, насколько далеко ответвление ушло от эталонного сценария. Второй указывает ход, с которого началось отклонение. Для каждого диалога эти метки получаются автоматически.

Конструкцию проверили вручную: 30 аннотаторов подтвердили, что форки действительно строятся так, как задумано.

Три задачи и две метрики, которые смотрят на ход разговора

Бенчмарк описывает отклонение на трёх уровнях детализации:

• Set-to-set distance (мониторинг). Оценивается, насколько набор диалогов развёрнутого агента отличается от эталонного набора. Такая задача нужна команде, которая следит за агентом в продакшене.
• Dialog-to-dialog distance (процедурный поиск). Оценивается, насколько один диалог отклоняется от эталонного, и по этому расстоянию можно искать диалоги с похожей процедурой.
• Turn prediction (real-time guardrails). Нужно определить ход, на котором диалог впервые сошёл с рельсов. Именно на такой постановке строятся защитные механизмы, работающие в реальном времени.

Для первых двух задач авторы предложили собственные метрики, учитывающие поток диалога:

• FlowKL сравнивает наборы диалогов.
• FlowScore сравнивает отдельные диалоги.

Обе метрики оценивают, как разговор разворачивается, а не о чём он. На уровне отдельного диалога FlowScore, по заявлению авторов, значимо превосходит все базовые методы на семи разных энкодерах. Вывод прямой: семантическая близость текстов не заменяет близости процедур. Два диалога могут обсуждать одно и то же, но идти разными путями, и обычные эмбеддинги этой разницы не заметят.

Что с этим делать разработчикам

Если вы строите агентов с жёстким сценарием, у DialFork есть три практических применения.

Первое: прогнать свою систему по 24 задачам из 12 доменов и получить оценку дрейфа, которую не дают метрики по отдельным репликам. Второе: взять FlowKL для мониторинга. Распределение живых диалогов можно сравнивать с эталонным и ловить сдвиг до жалоб пользователей. Третье: использовать задачу предсказания хода для обучения и проверки гардрейлов, которые обрывают или возвращают агента в сценарий на первом отклонении, а не на двадцатом.

Датасет доступен на Hugging Face в организации DialFork, код и лидерборд лежат в репозитории Idiap на GitHub. Лицензия MIT позволяет использовать материалы в коммерческих проектах. Пока бенчмарк англоязычный, так что для других языков придётся повторять методику форков самостоятельно. Зато саму процедуру легко воспроизвести: нужен рабочий диалог, фиксированный seed и точка, где агенту подбрасывают новую инструкцию.