WhoWins: первая строка промпта побеждает в конфликтах в 72–95% случаев

Агент в реальной работе получает команды сразу из пяти мест: от оператора, из конфигурации репозитория, от пользователя, из результатов инструментов и из сохранённой памяти. Эти источники регулярно противоречат друг другу. Исследователи во главе с Anish Laddha построили бенчмарк WhoWins из 1 080 сценариев и прогнали через него 14 открытых моделей. Итог: в 1 887 356 оценённых ответах исход конфликта сильно зависит от того, где стоит строка, и заметно слабее от того, кто её прислал.

Почему старые бенчмарки иерархии инструкций упираются в стену

Существующие тесты на instruction hierarchy задают один вопрос: побеждает ли источник с более высоким рангом. Авторы WhoWins указывают на методологическую проблему. Источник одновременно определяет три вещи: позицию текста в контексте, роль сообщения и метку, под которой оно пришло. Если system-промпт выигрывает, непонятно, почему. Может, из-за статуса, а может, просто потому, что он стоит первым.

Поэтому WhoWins разводит эти факторы. В бенчмарке пять типов задач, в каждом сценарии до пяти взаимоисключающих инструкций, а результат оценивается кодом, без судьи-LLM. Семь контролируемых экспериментов меняют только способ доставки инструкций. Тестировались 14 моделей с открытыми весами, от 0,6B до 122B параметров, в режимах с включённым и выключенным thinking. Основные выводы авторы перепроверили на отложенных сценариях.

Первая строка выигрывает, но роль system не гарантирует победу

Внутри одного сообщения первая из двух конфликтующих строк побеждает в 72,42–94,66% случаев, в зависимости от модели и режима. Между сообщениями эффект слабее: ранняя инструкция удерживается в 22,95–62,65% случаев.

Самая неудобная для практиков находка касается системного уровня. Политика, отправленная первой в system- или developer-сообщении, проигрывает большинство конфликтов более поздним строкам во всех моделях семейства Qwen. На gpt-oss картина обратная: там она выигрывает большинство конфликтов, если модель действует. В задачах с инструментами и записью файлов тот же текст, поставленный первым как помеченное user-сообщение, выигрывает чаще, чем в system-сообщении. Это наблюдается в каждой комбинации модель и режим.

Другими словами, пометка «system» не превращается в надёжный приоритет. Многое определяется тем, как конкретная модель обучена работать с ролями и как она ведёт себя, когда ей нужно выполнить действие, а не просто ответить.

Конфликты проходят незамеченными

Авторы проверили и ещё одну вещь: говорит ли модель вслух о противоречии. По их ключевым шаблонам не более 2,92% решённых ответов на парные конфликты отмечают его или смягчают формулировку. Агент выбирает одну из инструкций и действует. Пользователь и оператор об этом не узнают.

Отдельный блок работы посвящён прогнозированию. Можно ли по результатам парных конфликтов предсказать поведение в сложных сценариях с несколькими инструкциями? Прогнозы улучшаются в каждой комбинации модель и режим, когда известно, где в контексте стоит строка с самой задачей.

Что в работе

• Бенчмарк WhoWins: 1 080 сценариев, оцениваемых кодом.
• Пять типов задач, до пяти взаимоисключающих инструкций в сценарии.
• Семь контролируемых экспериментов, меняющих только способ доставки инструкций.
• 14 open-weight моделей от 0,6B до 122B, режимы thinking off и on.
• 1 887 356 оценённых ответов, проверка выводов на отложенных сценариях.
• Одно сообщение: первая из двух конфликтующих строк выигрывает в 72,42–94,66% случаев.
• Разные сообщения: ранняя инструкция удерживается в 22,95–62,65% случаев.
• Явно отмечают или смягчают конфликт не более 2,92% решённых парных ответов.
• Объём статьи: 55 страниц, 8 рисунков, 24 таблицы.

Что менять в агентных системах уже сейчас

Первое: не полагаться на метку system как на защиту критичных правил. Если политика безопасности должна пережить поздние инструкции пользователя или результаты инструментов, её стоит проверять тестами на конкретной модели, потому что у Qwen и gpt-oss поведение расходится. Второе: порядок строк в промпте нужно считать частью архитектуры, а не оформления. Третье: в задачах с вызовом инструментов и записью файлов проверять приоритеты отдельно от чатовых сценариев, поскольку там системная политика выигрывает реже.

Наконец, нужен мониторинг молчаливых конфликтов. Если агент почти никогда не сигнализирует о противоречии, о нём придётся узнавать из логов и тестов. Код и данные доступны через pip install whowins, так что собственные модели можно прогнать по тому же протоколу.