Тестер увидел «цену» в фразе «до 2027 года»: 4 из 7 красных сценариев оказались ложными
Автотест чат-бота для amoCRM поставил critical за «названную цену», хотя бот написал «подача до 2027 года»: регулярка прочла год как «до 2027 рублей». Из-за одной такой ошибки прогон краснеет и бот не уходит в продакшн. К вечеру 15 октября из 7 красных сценариев 4 падали по вине самого тестера. Прежде чем править промпт, прочитайте ответ целиком и решите, чей это баг: окружения, бота или тестера.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте: вы написали автотест для чат-бота, запустили его перед выкаткой, и он выдал красный отчёт с пометкой critical — «бот назвал цену». Вы открываете диалог и видите фразу «подача до 2027 года вполне реальна». Никакой цены там нет: тестер принял год за сумму в рублях. Именно это случилось 15 октября у команды Octery, которая делает ботов для чатов amoCRM. В отчёте было восемь нарушений уровня critical, и один день ушёл на то, чтобы понять, какие из них настоящие. Для всех, кто выпускает LLM-ботов в продакшн, вывод простой: красный тест не равен плохому боту, и сначала надо выяснить, кто виноват.
Как год превратился в цену
Бот отвечает лидам в Telegram: здоровается, выясняет, что нужно человеку, просит контакт и передаёт сделку менеджеру. Сейчас команда готовит пилот с иммиграционной консалтинговой компанией. Там бот не должен обещать результат, называть цены или выдавать себя за юриста, а на прямой вопрос «вы бот?» обязан ответить «да». Про деньги говорит только менеджер, поэтому названная ботом цена считается критическим нарушением, и одного такого ответа хватает, чтобы прогон закрылся красным.
Тестер устроен как чёрный ящик. С отдельного аккаунта он пишет боту как обычный клиент, ждёт ответа и проверяет его по правилам. Внутрь бота и в amoCRM он не заглядывает. Сценариев 162: вопросы по базе знаний, попытки выбить цену или гарантию, юридические вопросы, флуд, мат, смена языка посреди разговора и 42 «персоны» со своими историями. Бот отвечает в среднем за 18–19 секунд, поэтому быстрый смоук-прогон из 19 сценариев идёт 36–45 минут.
Цену «нашла» регулярка — шаблон поиска в тексте: слова «от», «до», «около», «примерно», «порядка» и следом число от трёх цифр. «До 2027» подошло под него. Так же она ловила «примерно 100 публикаций в год» и «от 2020 года». Воспроизводится это офлайн за минуту, но до запуска никто не проверил. Лечится просто: рядом с числом должна стоять валюта или слово вроде «стоит», «цена», «бюджет».
Ещё две ошибки самого тестера
На первое сообщение бот отвечает двумя пузырями: приветствие приходит сразу, ответ модели — секунд через пять. Тестер собирал ответ по окну тишины в девять секунд, и если модель думала дольше, он уходил с одним приветствием. Отсюда «пустой ответ бота» и critical на сценарии «Вы юристы?», где бот якобы не отправил человека к адвокату. Он отправил, но во втором пузыре, которого тестер не дождался.
Третья ошибка была заложена в требования. Для персон были обязательные темы: бот должен спросить про сферу, цель и про то, есть ли уже адвокат. А отдельное правило запрещало переспрашивать то, что клиент уже сказал. Персона, которая в первом сообщении пишет «работаю с адвокатом», загоняла бота в вилку: спросил — значит переспросил, не спросил — значит пропустил обязательную тему. Тема «сфера» стояла в 30 сценариях, «уже есть» — в 24, и в каждом бот мог проиграть при любом ответе.
Итог дня: 14 прогонов, к вечеру красными оставались 7 сценариев, и 4 из них падали из-за строгости самого тестера.
Когда тестер был прав
Чаще всего за день срабатывало правило «два вопроса в одном сообщении» — 68 раз. Сначала это выглядело как болтливость модели, которую лечат промптом. Но в диалогах причина нашлась в другом: шаблонное приветствие писала не модель, и заканчивалось оно вопросом «С каким запросом вы к нам пришли?». Сразу после него модель отвечала на сообщение клиента и задавала свой вопрос. Каждая часть по отдельности спрашивала одно, а человек получал два вопроса подряд. Шаблон написали сами и давно не перечитывали. Когда вопрос из приветствия убрали, нарушение исчезло.
За день смоук вырос с 0–2 зелёных из 19 утром до 17 из 19 вечером. В этот результат вошли смена модели, переписанная воронка вопросов, правки шаблона и правки тестера. Разделить их вклад удалось только потому, что каждое падение разбиралось отдельно.
Тестер дал и честное сравнение моделей. На тех же 19 сценариях gpt-5-nano прошла чисто 10, gpt-5-mini — 15. Повышение reasoning effort (глубины рассуждения) у mini с low до medium зелёных не добавило. Mini дороже, но на один диалог разница выходит в центы, так что для пилота взяли её. Без тестера выбор делался бы по впечатлению от пары переписок.
Как разбирать красное
Прежде чем что-то чинить, автор раскладывает падение по трём корзинам:
- ENV: окружение не ответило, пайплайн упал, Telegram не доставил сообщение;
- BOT: бот ответил, и ответил неправильно;
- TESTER: правило сработало на нормальном ответе.
Третью корзину почти всегда выдаёт одно: читаешь ответ целиком и не видишь, что с ним не так. Ответы LLM каждый раз немного разные, поэтому сбой тестера легко принять за неудачную генерацию, а неудачную генерацию — за сбой тестера. Практическое правило: сначала читать текст ответа и только потом название нарушения. Если в отчёте «бот назвал цену», а в ответе «2027 года», чинить надо свой код.
История описывает опыт одного проекта и одного пилота, а стоимость диалога в цифрах автор не приводит. Но вывод переносится на любую команду: прогоняйте правила офлайн на реальных ответах до запуска, не ставьте обязательные и запрещающие правила в одну вилку и перечитывайте шаблонные куски бота так же внимательно, как промпт.
- 18 нояб. 2026 г.sd.cpp вместо Forge Neo: девять моделей на видеокарте 16 ГБ рисуют за 5–68 секунд
- 18 нояб. 2026 г.Mellum от JetBrains запустили локально в IDE: на MacBook M3 Pro получилось 5 баллов из 10
- 18 нояб. 2026 г.Qwen на двух DGX Spark стал быстрее на 34–59% по токенам в секунду и обошёл GLM
- 12 нояб. 2026 г.Лекун на ECCV 2026 призвал уйти от генерации пикселей к world models
Вопросы и ответы по материалу
Что известно по теме: как год превратился в цену?
Бот отвечает лидам в Telegram: здоровается, выясняет, что нужно человеку, просит контакт и передаёт сделку менеджеру. Сейчас команда готовит пилот с иммиграционной консалтинговой компанией. Там бот не должен обещать результат, называть цены или выдавать себя за юриста, а на прямой вопрос «вы бот?» обязан ответить «да». Про деньги говорит только менеджер, поэтому названная ботом цена считается критическим нарушением, и одного такого ответа хватает, чтобы прогон закрылся красным. Тестер устроен как чёрный ящик.
Что известно по теме: ещё две ошибки самого тестера?
На первое сообщение бот отвечает двумя пузырями: приветствие приходит сразу, ответ модели — секунд через пять. Тестер собирал ответ по окну тишины в девять секунд, и если модель думала дольше, он уходил с одним приветствием. Отсюда «пустой ответ бота» и critical на сценарии «Вы юристы?», где бот якобы не отправил человека к адвокату. Он отправил, но во втором пузыре, которого тестер не дождался. Третья ошибка была заложена в требования.
Что известно по теме: когда тестер был прав?
Чаще всего за день срабатывало правило «два вопроса в одном сообщении» — 68 раз. Сначала это выглядело как болтливость модели, которую лечат промптом. Но в диалогах причина нашлась в другом: шаблонное приветствие писала не модель, и заканчивалось оно вопросом «С каким запросом вы к нам пришли?». Сразу после него модель отвечала на сообщение клиента и задавала свой вопрос. Каждая часть по отдельности спрашивала одно, а человек получал два вопроса подряд. Шаблон написали сами и давно не перечитывали.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.