Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Тестер увидел «цену» в фразе «до 2027 года»: 4 из 7 красных сценариев оказались ложными

Автотест чат-бота для amoCRM поставил critical за «названную цену», хотя бот написал «подача до 2027 года»: регулярка прочла год как «до 2027 рублей». Из-за одной такой ошибки прогон краснеет и бот не уходит в продакшн. К вечеру 15 октября из 7 красных сценариев 4 падали по вине самого тестера. Прежде чем править промпт, прочитайте ответ целиком и решите, чей это баг: окружения, бота или тестера.

AI-обработка оригинала Habr AI; редакция Hamidun News
Тестер увидел «цену» в фразе «до 2027 года»: 4 из 7 красных сценариев оказались ложными
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Шаблонное приветствие с вопросом дало 68 нарушений «два вопроса в одном»
Ключевой факт #2gpt-5-mini прошла чисто 15 из 19 сценариев, gpt-5-nano — 10
Смоук за деньс 0–2 зелёных из 19 утром до 17 из 19 вечером

Представьте: вы написали автотест для чат-бота, запустили его перед выкаткой, и он выдал красный отчёт с пометкой critical — «бот назвал цену». Вы открываете диалог и видите фразу «подача до 2027 года вполне реальна». Никакой цены там нет: тестер принял год за сумму в рублях. Именно это случилось 15 октября у команды Octery, которая делает ботов для чатов amoCRM. В отчёте было восемь нарушений уровня critical, и один день ушёл на то, чтобы понять, какие из них настоящие. Для всех, кто выпускает LLM-ботов в продакшн, вывод простой: красный тест не равен плохому боту, и сначала надо выяснить, кто виноват.

Как год превратился в цену

Бот отвечает лидам в Telegram: здоровается, выясняет, что нужно человеку, просит контакт и передаёт сделку менеджеру. Сейчас команда готовит пилот с иммиграционной консалтинговой компанией. Там бот не должен обещать результат, называть цены или выдавать себя за юриста, а на прямой вопрос «вы бот?» обязан ответить «да». Про деньги говорит только менеджер, поэтому названная ботом цена считается критическим нарушением, и одного такого ответа хватает, чтобы прогон закрылся красным.

Тестер устроен как чёрный ящик. С отдельного аккаунта он пишет боту как обычный клиент, ждёт ответа и проверяет его по правилам. Внутрь бота и в amoCRM он не заглядывает. Сценариев 162: вопросы по базе знаний, попытки выбить цену или гарантию, юридические вопросы, флуд, мат, смена языка посреди разговора и 42 «персоны» со своими историями. Бот отвечает в среднем за 18–19 секунд, поэтому быстрый смоук-прогон из 19 сценариев идёт 36–45 минут.

Цену «нашла» регулярка — шаблон поиска в тексте: слова «от», «до», «около», «примерно», «порядка» и следом число от трёх цифр. «До 2027» подошло под него. Так же она ловила «примерно 100 публикаций в год» и «от 2020 года». Воспроизводится это офлайн за минуту, но до запуска никто не проверил. Лечится просто: рядом с числом должна стоять валюта или слово вроде «стоит», «цена», «бюджет».

Ещё две ошибки самого тестера

На первое сообщение бот отвечает двумя пузырями: приветствие приходит сразу, ответ модели — секунд через пять. Тестер собирал ответ по окну тишины в девять секунд, и если модель думала дольше, он уходил с одним приветствием. Отсюда «пустой ответ бота» и critical на сценарии «Вы юристы?», где бот якобы не отправил человека к адвокату. Он отправил, но во втором пузыре, которого тестер не дождался.

Третья ошибка была заложена в требования. Для персон были обязательные темы: бот должен спросить про сферу, цель и про то, есть ли уже адвокат. А отдельное правило запрещало переспрашивать то, что клиент уже сказал. Персона, которая в первом сообщении пишет «работаю с адвокатом», загоняла бота в вилку: спросил — значит переспросил, не спросил — значит пропустил обязательную тему. Тема «сфера» стояла в 30 сценариях, «уже есть» — в 24, и в каждом бот мог проиграть при любом ответе.

Итог дня: 14 прогонов, к вечеру красными оставались 7 сценариев, и 4 из них падали из-за строгости самого тестера.

Когда тестер был прав

Чаще всего за день срабатывало правило «два вопроса в одном сообщении» — 68 раз. Сначала это выглядело как болтливость модели, которую лечат промптом. Но в диалогах причина нашлась в другом: шаблонное приветствие писала не модель, и заканчивалось оно вопросом «С каким запросом вы к нам пришли?». Сразу после него модель отвечала на сообщение клиента и задавала свой вопрос. Каждая часть по отдельности спрашивала одно, а человек получал два вопроса подряд. Шаблон написали сами и давно не перечитывали. Когда вопрос из приветствия убрали, нарушение исчезло.

За день смоук вырос с 0–2 зелёных из 19 утром до 17 из 19 вечером. В этот результат вошли смена модели, переписанная воронка вопросов, правки шаблона и правки тестера. Разделить их вклад удалось только потому, что каждое падение разбиралось отдельно.

Тестер дал и честное сравнение моделей. На тех же 19 сценариях gpt-5-nano прошла чисто 10, gpt-5-mini — 15. Повышение reasoning effort (глубины рассуждения) у mini с low до medium зелёных не добавило. Mini дороже, но на один диалог разница выходит в центы, так что для пилота взяли её. Без тестера выбор делался бы по впечатлению от пары переписок.

Как разбирать красное

Прежде чем что-то чинить, автор раскладывает падение по трём корзинам:

  • ENV: окружение не ответило, пайплайн упал, Telegram не доставил сообщение;
  • BOT: бот ответил, и ответил неправильно;
  • TESTER: правило сработало на нормальном ответе.

Третью корзину почти всегда выдаёт одно: читаешь ответ целиком и не видишь, что с ним не так. Ответы LLM каждый раз немного разные, поэтому сбой тестера легко принять за неудачную генерацию, а неудачную генерацию — за сбой тестера. Практическое правило: сначала читать текст ответа и только потом название нарушения. Если в отчёте «бот назвал цену», а в ответе «2027 года», чинить надо свой код.

История описывает опыт одного проекта и одного пилота, а стоимость диалога в цифрах автор не приводит. Но вывод переносится на любую команду: прогоняйте правила офлайн на реальных ответах до запуска, не ставьте обязательные и запрещающие правила в одну вилку и перечитывайте шаблонные куски бота так же внимательно, как промпт.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как год превратился в цену?

Бот отвечает лидам в Telegram: здоровается, выясняет, что нужно человеку, просит контакт и передаёт сделку менеджеру. Сейчас команда готовит пилот с иммиграционной консалтинговой компанией. Там бот не должен обещать результат, называть цены или выдавать себя за юриста, а на прямой вопрос «вы бот?» обязан ответить «да». Про деньги говорит только менеджер, поэтому названная ботом цена считается критическим нарушением, и одного такого ответа хватает, чтобы прогон закрылся красным. Тестер устроен как чёрный ящик.

Что известно по теме: ещё две ошибки самого тестера?

На первое сообщение бот отвечает двумя пузырями: приветствие приходит сразу, ответ модели — секунд через пять. Тестер собирал ответ по окну тишины в девять секунд, и если модель думала дольше, он уходил с одним приветствием. Отсюда «пустой ответ бота» и critical на сценарии «Вы юристы?», где бот якобы не отправил человека к адвокату. Он отправил, но во втором пузыре, которого тестер не дождался. Третья ошибка была заложена в требования.

Что известно по теме: когда тестер был прав?

Чаще всего за день срабатывало правило «два вопроса в одном сообщении» — 68 раз. Сначала это выглядело как болтливость модели, которую лечат промптом. Но в диалогах причина нашлась в другом: шаблонное приветствие писала не модель, и заканчивалось оно вопросом «С каким запросом вы к нам пришли?». Сразу после него модель отвечала на сообщение клиента и задавала свой вопрос. Каждая часть по отдельности спрашивала одно, а человек получал два вопроса подряд. Шаблон написали сами и давно не перечитывали.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…