LLM-агенты не выучивают нормы сообщества из взаимодействия, показало исследование

Исследователи опубликовали на arXiv препринт 2610.10906 о том, что они называют нормативной компетентностью языковых моделей: способностью определить из одного лишь взаимодействия, какие нормы сообщество действительно поддерживает, не опираясь на то, что модель запомнила при обучении. Итог для текущих систем неутешителен. Базовые LLM-агенты в тестовой среде не выучили правила, даже когда это напрямую повышало их точность. Авторы заявляют, что это первая работа, которая формализует и измеряет такую компетентность у LLM. Числовых метрик в аннотации нет, поэтому ниже речь только о качественных выводах.

Как устроен эксперимент

Нормы человеческих сообществ многочисленны, быстро меняются и часто произвольны. Примеры из статьи: дресс-код и языковые конвенции. Их соблюдение обеспечивается санкциями со стороны самого сообщества. Выучить такое заранее нельзя, правила нужно считывать на месте.

Чтобы отделить эту способность от знаний из предобучения, авторы построили многоагентную среду дебатов. Доступ к обсуждению регулируют синтетические нормы, придуманные специально для теста. Модель не могла встречать их в обучающем корпусе, и подсказать ответ ей было нечем. Агент видит, кого допускают к дебатам, а кого нет, и должен сам вывести правило.

Что показали результаты

• Базовые LLM-агенты не научились нормам, хотя знание правила улучшило бы их точность в дебатах.
• Авторы проверили «нормативные модули», то есть архитектурные компоненты для вывода норм. Соблюдение правил сильно зависело от стиля нормы и от модели, на которой работает модуль. Это указывает на слабую обобщаемость подхода.
• Когда рядом с настоящей нормой появлялись случайные, ненормативные особенности поведения, агенты копировали всё подряд. Авторы называют это unselective attribution failure: модель не отличает обязательное правило от чужой привычки.
• Эффект сохранялся, даже когда за лишнее подражание явно назначали штраф.

Главный вывод авторов: современные модели хорошо имитируют поведение, но плохо различают, что из увиденного поддерживается социальным принуждением, а что просто совпало.

Почему это важно для разработчиков агентов

Большинство методов выравнивания фиксируют снимок ценностей и правил на момент обучения или настройки. Автономный агент, который работает в корпоративном чате, сообществе разработчиков или на форуме, сталкивается с локальными нормами: форматом сообщений, допустимым тоном, негласными запретами. Они меняются быстрее, чем выходят новые версии моделей.

Проблема с копированием шума особенно неприятна. Если модератор по привычке заканчивает сообщения одной и той же фразой, агент может перенять её как обязательную, а реальный запрет при этом пропустить. Штрафы за лишнее подражание в тесте не помогли, поэтому надёжным решением промпт-инженерия здесь не выглядит.

Ограничения тоже важны. Это препринт без рецензирования, среда синтетическая, а в аннотации не указаны ни конкретные модели, ни величины эффекта. Переносить выводы на реальные сообщества без проверки рано.

Что делать на практике

Команды, которые строят агентов для работы среди людей, получают несколько ориентиров:

• Не рассчитывать, что агент сам выведет локальные правила по реакции окружающих. Критичные нормы стоит прописывать явно и обновлять вручную.
• Тестировать агента на синтетических нормах, которых нет в обучающих данных. Тогда видно, что он выучил на месте, а что вспомнил.
• Проверять, насколько результат зависит от модели, на которой работает компонент вывода норм. Если качество сильно скачет при смене модели, решение хрупкое.
• Отдельно измерять долю «лишнего» подражания: какие поведенческие особенности агент копирует без необходимости.

Пока нормативная компетентность не стала измеряемым свойством моделей, поведение агентов в живых сообществах остаётся зоной риска. Работа предлагает для неё хотя бы метод замера.