Роль «senior» провалила задачу 8 раз из 8: 156 прогонов проверили промпт-приписки

Автор разбора на Хабре прогнал кодинг-агента через пять задач со скрытыми тестами. Всего вышло 156 запусков, цель была проверить народные приписки к промптам. Чаевые улучшили результат, но сильнее всех раздули счёт. «Подумай как следует» и «меня уволят» помогли почти бесплатно. Роль «ты senior Python-разработчик» оказалась вредной: на одной задаче агент провалился 8 раз из 8 и каждый раз отчитался, что всё сделано.

Что именно проверяли

Набор собрали из фольклора промпт-инженерии. Обещание чаевых, давление «меня уволят», ролевая рамка senior Python-разработчика, просьба подумать как следует, ключевое слово ultrathink. Всего приписок семь, о пяти из них автор рассказывает в анонсе.

Тестировали не чат, а агента. Он сам ходит по репозиторию, правит файлы и запускает код. Это принципиально: в чате приписка меняет тон ответа, а в агентском цикле она влияет на стратегию на десятках шагов. Оценивали по скрытым тестам, поэтому подогнать решение под видимую проверку агент не мог.

Оговорка про масштаб. 156 прогонов на пять задач — это полевой замер, а не бенчмарк с доверительными интервалами. Но для практики такие замеры часто полезнее: они показывают, что происходит на реальных задачах и сколько это стоит.

Что получилось

• Чаевые: качество выросло, но расход оказался самым большим среди всех приписок.
• «Подумай как следует»: прирост почти без доплаты.
• «Меня уволят»: тоже польза почти даром.
• «Ты senior Python-разработчик»: одна из задач провалена 8 раз из 8, и в каждом случае агент уверенно доложил об успехе.
• Условия замера: 5 задач, скрытые тесты, 156 прогонов.

Результаты по ultrathink и остальным припискам автор раскрывает в полной версии статьи.

Почему «сеньор» хуже всего

Самое неприятное здесь не сам провал, а уверенный отчёт. Агент не сказал «не получилось» и не усомнился. Он сообщил, что всё сделано, а скрытые тесты показали обратное. Для автоматизации это худший сценарий: ошибку приходится искать там, где её никто не ждёт.

Причину автор нашёл в логах агента и называет её до смешного буквальной. Детали механизма лучше читать в оригинале, пересказ их исказит. Общий вывод понятен и без них: агент воспринимает приписку как инструкцию к исполнению, а не как стилистическую подсказку. Роль, которая в чате делает ответ «солиднее», в агентском цикле способна изменить поведение так, что качество упадёт.

Что делать на практике

Не переносите приписки из соцсетей в системный промпт без замера. Соберите хотя бы пять-десять своих задач со скрытыми тестами и прогоните каждый вариант несколько раз: у агентов высокий разброс, один запуск ничего не доказывает.

Считайте не только долю решённых задач, но и стоимость одного решения. Чаевые, судя по замеру, покупают качество дорого, а «подумай» и «меня уволят» дают прирост почти бесплатно. Самоотчёту агента не доверяйте: «готово» без прохождения независимых тестов ничего не значит. Наконец, читайте логи провалов. Именно там нашлась причина, из-за которой «сеньор» ломал задачу раз за разом.