Одна фраза тимлида в промпте сдвинула оценку задач у ChatGPT и Claude на 20%

Перед планированием кто-то вставляет бэклог в чат и просит прикинуть story points. Модель за десять секунд выдаёт ровную колонку чисел. А в промпте между делом стоит: «тимлид думает, что тут где-то на 32 пункта». Сергей Прощаев, Tech Lead в FinTech и e-commerce, проверил, что происходит с такой оценкой.

Как поставлен эксперимент

Он взял 12 задач проекта Spring XD из открытого датасета на 23 313 задач Jira, по две на каждую оценку: 1, 2, 3, 5, 8 и 13. Команда оценила их в сумме на 64 SP. Два промпта отличались одним предложением: во втором тимлид якобы прикинул 32 SP, ровно половину. Модели: бесплатный ChatGPT и Claude Opus 5.5. Каждый промпт прогнали по три раза в чистом чате, всего 12 прогонов.

Результат: у ChatGPT средняя сумма упала с 76,7 до 60,3 SP (−21%), у Claude с 66,7 до 54,0 (−19%). До 32 не дошла ни одна модель, самый низкий прогон дал 44. Это классический эффект якоря, который Йоргенсен описывал у людей ещё в 2010 году: от подсказки отходят, но недостаточно. Диапазоны с якорем и без него не пересекаются.

Что именно ломается

Мелкие задачи почти не двигались: обновление Groovy получило 1 во всех двенадцати прогонах. Крупные проседали заметно. Задача, которую команда оценила в 13, у ChatGPT с якорем во всех трёх прогонах стала 8. Метаданные на 8 превратились в 5.

Ещё одна неприятность: с якорем модели стали менее последовательными. Без него оценка менялась между прогонами в трёх задачах из двенадцати у ChatGPT и в двух у Claude. С якорем соответственно в семи и в четырёх.

Самое коварное: у ChatGPT сумма с якорем приблизилась к командной (60,3 против 64), но средняя ошибка по задачам выросла с 2,92 до 3,25 SP. У Claude наоборот: сумма отдалилась, а ошибка по задачам снизилась с 1,75 до 1,42. Сумма сглаживает ошибки разных знаков и скрывает, куда сдвинулась оценка.

Что делать на практике

Автор предлагает пять правил:

• Не писать в промпт ёмкость спринта, ожидания тимлида и оценки похожих задач.
• Показывать оценку модели только после голосования команды.
• Прогонять модель минимум трижды и смотреть на разброс.
• Сравнивать с командой по задачам и по рангу, а не по сумме.
• Расхождение на две позиции шкалы и больше считать поводом проверить описание задачи.

Модели в роли детектора непонятных задач работают лучше, чем в роли источника цифры. Например, «R-процессор» команда оценила в 8, а ChatGPT без якоря ставил 21 из-за слова «исследовать» в описании. Такие расхождения полезно разбирать: возможно, у команды есть контекст, которого нет в тексте.

Ограничения

Выборка маленькая: 12 задач, один проект, две модели, по три прогона. Датасет публичный с 2016 года и мог попасть в обучающие данные. Фраза несёт и число, и мнение тимлида, их вклад не разделён. Это не бенчмарк, а проверка одного рабочего приёма.

Проверить у себя можно за двадцать минут: возьмите десяток закрытых задач, прогоните каждую по три раза без чисел и с ёмкостью спринта, сравните не только суммы, но и задачи. Если варианты расходятся сильнее, чем повторы одного варианта, число в промпте влияет на модель, и от первой оценки его лучше держать подальше. Код и ответы моделей автор выложил в открытый репозиторий.