Голосовые боты на LLM берут быстрый классификатор Jev: решение за 200–500 мс

Голосовой бот на большой языковой модели (LLM) говорит складно, но на живых звонках ошибается в мелочах. Он находит свободное окно и не записывает клиента. Он перебивает человека, который просто подбирает слово.

Команда Voximplant, российской платформы для голосовой автоматизации и телефонных ботов, описала способ лечить это инженерно. Простые решения забирает у LLM быстрая модель-классификатор вроде Jev от компании TypeSafe. Jev вышел в ранний доступ в сентябре 2026 года.

На вход он получает кусок транскрипта, последнюю реплику бота и шаг сценария, плюс несколько вопросов. Текст он не генерирует. В ответ приходит типизированная структура: выбор из вариантов, оценка по короткой шкале или вероятность «да» на прямой вопрос.

Измерения задержки расходятся. В одном замере 35 вопросов заняли около 170 мс на прогретом соединении, в другом вышло 332–892 мс. TypeSafe заявляет 70–500 мс.

Почему одна модель на весь разговор не тянет

В 2022–2024 годах Voximplant делал свой классификатор Avatar. Он выделял из фразы намерение (intent) по настраиваемому каталогу и отмечал, есть ли в ней структурированные данные: даты, имена, номера. Потом пришли LLM, и казалось, что классификатор больше не нужен.

Практика быстро это опровергла. Средние модели не выдерживали длинного стартового промпта и после нескольких смен темы начинали галлюцинировать. Дорогие модели либо ломали экономику проекта, либо отвечали слишком медленно для телефона.

Часть моделей была недоступна в отдельных регионах. По опыту Voximplant, который делает несколько сотен коммерческих проектов в год, одна модель пропускает момент вызова инструмента, вылезает за контекстное окно и сжигает лишние токены. Поэтому бота собирают из нескольких частей.

Когда вышел Jev, Voximplant как раз заменял Avatar на схему с малой быстрой моделью.

Jev не единственный в этом классе. Рядом появились и другие модели:

• Laya: бесплатный аналог с открытым кодом под лицензией Apache 2.0.
• Clef от Cloudflare: открытая модель для очень быстрых решений внутри программных систем.
• CMF от Cortiq: открытая модель весом 304,5 МБ, работает за миллисекунды без генерации токенов.
• Bespoke Nimble от Bespoke Labs: открытый рецепт на основе Qwen3.5-9B с LoRA-дообучением и ограниченным декодированием.
• Kev от @jaredpalmer: начинался как Kev-0.5B на базе Qwen2.5-0.5B для локального запуска на ноутбуках, теперь это семейство моделей.
• CLM-8B от Стэнфорда и Nvidia: кэширует повторяемые действия агентов, по замерам авторов быстрее Jev.

Пять задач, которые отдают классификатору

Маршрутизация по темам. Piotr Zaczek поставил классификатор на вход голосового меню. Он выбирает небольшого агента с коротким промптом и одним набором инструментов под одну тему. Решение о смене темы заняло 0,5 с вместо почти 5 с, когда его принимала большая модель, и токены дорогой модели ушли меньше.

Проверка действий. Giorgi Lomidze в телефонном ассистенте Pocos для салонов и студий оставил в роли речевой модели Gemini Live. Любой её вызов инструмента сначала проверяет Jev вопросами вроде «абонент подтвердил действие?» и «абонент попрощался?». Пороги такие: согласие считается сильным от 0,9, слабым ниже 0,1, прощание сильным от 0,75 (и только если человек не начал новую тему). Принцип: LLM предлагает, Jev оценивает, решает бизнес-логика.

Конец реплики по смыслу. Паузу ловят акустические детекторы: в Voximplant это Silero VAD, Pipecat Smart Turn и шумодав Hush. Jev добавляет проверку по тексту. Если детектор сказал «конец», а Jev видит оборванную мысль, бот молчит. Задержка около 250 мс: примерно 50 мс на распознавание речи и 200 мс на классификацию. Supreet Tare из Taritas после 350 мс тишины задаёт один вопрос и получает ответ за 0,4 с. Дальше код ждёт 1,7 с при уверенном «закончил» (от 0,75), 2,8 с при сомнении и 4,5 с, если фраза оборвалась на «and», «but» или запятой.

Перебивания. Jay Albo на платформе Agora получает за один вызов (около 300 мс) четыре вероятности: закончил ли человек мысль, просит ли подождать, обращена ли реплика к боту, перебивает ли он бота или просто говорит «угу».

Заполнение анкеты. Jason Stiles собрал линию вымышленной клиники на Twilio ConversationRelay с Deepgram и ElevenLabs. На каждый ход уходит один запрос с 30–35 вопросами. Код сам вырезает из транскрипта кандидатов (числа для года рождения, короткие фразы для имени), а Jev выбирает подходящий. Выдумать дату он не может, ошибка всегда идёт от слов абонента. Автор обзора с таким подходом спорит: есть более эффективные способы извлечения данных.

Дорогой ответ или дешёвый

Deepesh Jayal из Evalgent делит ответы на три класса: готовая заготовка без модели, быстрая модель для короткого факта, тяжёлая модель для неоднозначных и дорогих по ошибке случаев. На каждом ходу Jev решает, нужен ли дорогой ответ. Правила такие:

• Низкая уверенность поднимает ход на класс выше.
• Вопросы с высокой ценой ошибки не уходят на дешёвый класс, даже если классификатор уверен.
• Посреди звонка класс не понижают: экономия невелика, а контекст дорогой модели можно испортить.

Порядок сборки каскада

Воximplant предлагает такую последовательность: сначала конец реплики и перебивания, затем маршрутизация по темам, потом заполнение форм, проверка изменяющих действий и выбор класса модели. Пороги уверенности придётся подбирать под каждый проект. Для инженеров вывод практический. Всё, что можно свести к вопросу «да/нет» или выбору из списка, дешевле и надёжнее отдать быстрой модели. Большая LLM остаётся там, где нужен живой ответ.