Три LLM плохо следуют промптам о запинках и перебиваниях, правила справляются лучше

Голосовые агенты выходят в коммерческую эксплуатацию, а проверяют их на симуляторах пользователей, которые должны говорить как живые люди: запинаться, перебивать, вставлять «ага» и «угу». Авторы работы Prompts versus Rules проверили, выполняют ли такие симуляторы то, что им задали. Они сравнили три LLM с промптами для tau-Voice и собственный алгоритм на правилах, который вообще не использует модель. Три типа поведения, два подхода, один вывод: промпты работают плохо.

Что именно проверяли

В индустрии голосовых агентов качество оценки зависит от качества симулятора. Если виртуальный «клиент» говорит слишком гладко или перебивает в случайных местах, результаты тестов агента не отражают реальную эксплуатацию. Исследователи заметили, что большинство предыдущих работ не смотрят, воплотилась ли заданная конфигурация в готовой симуляции. Разработчик пишет «добавь запинки и перебивания», получает аудио и считает задачу выполненной.

В эксперименте рассматриваются три вида речевого поведения:

• дисфлюэнции, то есть запинки, повторы и заминки;
• перебивания реплики агента;
• backchanneling, короткие реакции вроде «понятно» и «ага» во время речи собеседника.

Авторы аудитировали не заданные параметры, а реализованное поведение: что в итоге прозвучало и где именно.

Где ломается промптинг

Подход на промптах проверили на трёх моделях. Результат оказался стабильно плохим: речь не соответствует инструкциям. Кроме того, запинки, перебивания и поддакивания расставлены и распределены менее естественно, чем следует из самой инструкции. Модель может получить указание вести себя «как человек, который часто сбивается». Но реальные паузы и перебивания зависят от синтаксиса, ритма и момента в диалоге, а LLM без специального обучения их не чувствует.

В аннотации не приводятся численные метрики отклонения, поэтому масштаб разрыва по одной только аннотации не оценить. Направление при этом однозначно. Универсальные LLM, не обученные специально под имитацию пользователя, сами по себе не передают подлинное поведение человека.

Что дали правила

Альтернатива авторов — rule-based алгоритм инъекции без модели. Он вставляет дисфлюэнции, перебивания и поддакивания по детерминированным правилам, опирающимся на лингвистику. По результатам исследования, такой подход даёт управляемое и при этом разнообразное поведение, более близкое к естественной речи. Если задан параметр, он реально воплощается в симуляции. Это то, чего не хватает промптингу.

Вывод авторов шире одного алгоритма. Чтобы закрыть разрыв, нужны либо лингвистически обоснованные детерминированные методы, либо специализированные модели для симуляции пользователей. Параллельно сообществу стоит публиковать реализованные значения, а не только настройки.

Как применять выводы на практике

Команды, которые тестируют голосовых агентов, могут сделать несколько шагов уже сейчас:

• не считать симуляцию естественной только потому, что в промпте указаны запинки и перебивания;
• измерять фактическую частоту и расположение этих событий в сгенерированных репликах;
• для управляемых сценариев комбинировать LLM, которая пишет содержание реплики, и детерминированный слой, который накладывает поведение;
• при публикации результатов тестирования указывать реализованные показатели, иначе сравнение агентов между собой теряет смысл.

Для рынка голосовых агентов это вопрос воспроизводимости. Если тестовый «пользователь» непредсказуем, то и метрики качества агента непредсказуемы. Простые правила здесь выглядят скромнее LLM, но дают контроль, который нужен для честной оценки.