Социолингвистика вместо LLM-судей: персоны для симуляции тестируют на 5 агентах

Симуляторы пользователей стали рабочим инструментом для проверки агентов: живых людей для тестов не хватает, а коммерческих агентов становится больше. Проблема в том, что сами симуляторы заметно отличаются от реальных людей, а их достоверность обычно оценивает другая LLM, то есть дорого и субъективно. Авторы нового препринта на arXiv (cs.CL, 2610.10988) предлагают убрать судью из процесса и измерять верность персоны детерминированными методами. Пилотный эксперимент провели на пяти агентах для клиентской поддержки.

Персона как набор стилевых частот

Обычно персону пользователя описывают словами: «пожилой клиент, раздражён, пишет коротко». Модель сама решает, как превратить ярлык в поведение, и результат плохо поддаётся проверке. Исследователи идут другим путём и опираются на социолингвистику. Персона здесь — социальный тип, который проявляется в наблюдаемом языковом стиле. Поэтому её задают как конкретные стилевые показатели, то есть частоты языковых признаков.

Такое представление даёт возможность взять два давно известных инструмента, которым не нужна обученная модель-оценщик:

• стилометрию для верификации авторства: проверяется, различимы ли тексты разных персон по стилю;
• лексический контент-анализ: считается, насколько реплики совпадают с заданными частотами.

Оба метода становятся диагностикой верности. Они воспроизводимы, дёшевы и дают числа, а не мнение другой модели.

Что показал A/B-тест

Социолингвистическую схему сравнили с плоским описательным базовым вариантом, где персона записана обычным текстовым описанием. Тест прогнали на пяти task-oriented агентах поддержки. По данным аннотации, схема улучшила и стилевое соответствие, и стилометрическую различимость у большинства протестированных моделей. Значит, у части моделей эффекта нет или он слабее, и аннотация не раскрывает, у каких именно.

Есть и оговорка самих авторов: стилевая верность персоны не равна её «естественности». Реплика может точно попадать в заданные частоты и всё равно звучать как написанная машиной. Для тех, кто собирается подменять живых тестировщиков симуляторами, это важное ограничение. Метрики показывают, насколько выполнен заданный стиль, но не гарантируют, что человек написал бы так же.

Ещё одна мысль работы касается применения метрик. Максимум пользы они дают при атрибуции ошибок: можно увидеть, на каком уровне стиль ломается, например в лексике, длине фраз или пунктуации. Это шаг к вмешательствам, которые сближают симулятор с реальным разнообразием языка пользователей.

Как применять в тестировании агентов

Работа пилотная и пока в виде препринта, без рецензирования, а выборка из пяти агентов невелика. Но практический вывод для команд, которые строят eval-пайплайны для агентов, понятен:

• Описывайте тестовых пользователей числами. Доли сокращений, опечаток, вежливых формул и длина реплики поддаются проверке, а «грубоватый клиент» нет.
• Добавьте детерминированный слой проверки рядом с LLM-судьёй. Он дешевле и позволяет ловить регрессии симулятора при смене модели.
• Разбирайте провалы по компонентам стиля. Если персона «расплылась» на лексике, а не на синтаксисе, править нужно конкретный фрагмент промпта.
• Не принимайте стилевую точность за реализм. Для финальной валидации по-прежнему нужна выборка реальных диалогов или оценка людьми.

Если подход подтвердится на большем числе моделей и доменов, он даст индустрии недорогую и воспроизводимую линейку для одного из самых слабых мест в оценке агентов.