Гибридный ИИ-агент снизил цену диалога до 3,8 рубля

Свободный чат с LLM выглядит естественно, но для продуктового сценария у него две неприятные привычки: он расходует много токенов и может забыть, куда вообще вёл пользователя. Сценарный бот дешевле и предсказуемее, зато ломается, как только человек вместо кнопки пишет: «Стажёр умеет кофе подавать!» Автор материала собрал гибрид: маршрут контролирует обычный код, а модели оставил понимание реплик и живой ответ.

На пилоте с 88 пользователями все обращения к моделям обошлись в 169 рублей. Средняя цена одного диалога составила 3,8 рубля. По расчётам автора, тот же разговор на сильной LLM без детерминированного каркаса стоил бы около 16 рублей.

Автомат решает, LLM объясняет

Диалог разбит на состояния: знакомство, обучение, финал, предложение, отказ и остановка. Перемещать пользователя между ними может только код. Он знает, какие переходы разрешены, проверяет ответы на квизы и решает, когда показывать коммерческое предложение.

Когда пользователь нажимает кнопку, модель получает уже готовый контекст и пишет ответ. Когда приходит свободный текст, сначала вызывается дешёвый классификатор. Он выбирает одно из допустимых действий: продолжить тему, объяснить проще, перейти к другой части программы или просто поддержать разговор. Автомат проверяет выбор, а модель-нарратор формулирует реплику.

Например, пользователь попросил объяснить нейросети проще, а затем пошутил про стажёра и кофе. В первом случае автомат точно знал тему и вызвал только нарратора. Во втором классификатор распознал шутку как разговорное отступление, код сохранил текущее состояние, а нарратор ответил и вернул беседу к уроку. Получилось два вызова модели вместо передачи ей всего управления.

Где появляется экономия

Основные расходы создаёт не сама длина разговора, а архитектура каждого хода. В реализации автора нажатие кнопки обходилось примерно в 35 копеек, текстовое сообщение — в 36 копеек. За средний диалог набегало 3,8 рубля. Маленькая модель работала классификатором, более сильная — нарратором.

Случайная перестановка моделей в ходе пилота хорошо показала цену неверного роутинга. Более дорогая модель, поставленная на классификацию, выполняла 31% вызовов, но забрала 44% расходов. В штатной конфигурации классификатор отвечал примерно за 1% стоимости. Практический вывод простой: дешёвую модель стоит ставить туда, где есть короткий список вариантов, а дорогую — туда, где действительно нужно качество текста.

Надёжность держится не только на промптах. Переходы и квизы проверяются офлайн без модели, сложные пользовательские реплики входят в набор eval-тестов, а выбранное классификатором действие повторно валидирует автомат. Для аварийного случая задан лимит расходов в 40 рублей на сессию, после которого включаются шаблонные ответы.

Что показал пилот

Из 88 посетителей 86 начали диалог, 69 прошли анкету и вошли в учебную программу, но до конца персонального маршрута добрались лишь семь. На групповой сессии агент одновременно обслужил 71 человека без сбоев. Коммерческое предложение увидели 33 участника, десять нажали кнопку «Интересно».

Это важное ограничение результата: пилот маленький, цифры сообщил сам автор, контрольной группы не было, а реальных покупок материал не показывает. Поэтому говорить о доказанном росте выручки рано. Зато инженерная гипотеза подтверждена достаточно ясно: конечный автомат способен удерживать маршрут, пока LLM делает общение менее деревянным.

Для разработчика здесь полезен конкретный шаблон. Храните состояние и бизнес-правила в коде, ограничивайте классификатор разрешёнными переходами, разделяйте модели по сложности задачи и считайте стоимость не одного токена, а завершённого пользовательского сценария. После этого главным узким местом становится уже не цена модели, а вовлечённость: как довести человека от первой шутки до полезного результата и покупки.