JEV заменяет многошаговую генерацию одним типизированным решением

Большая языковая модель внутри AI-агента часто работает как профессор, которого позвали сортировать обращения по трём папкам. Она получает историю задачи, перечитывает контекст и последовательно генерирует ответ — хотя системе нужен всего один выбор: вызвать поиск, проверить API или передать запрос человеку.

JEV от TypeSafe AI предлагает отделить такие короткие решения от генерации текста. Модель принимает состояние системы и набор заранее описанных вопросов, а возвращает типизированные ответы: выбранный вариант, оценку по шкале или вероятность «да». Для разработчика здесь важна не новая магия, а архитектурный приём: дорогая LLM занимается анализом и текстом, а компактный компонент — маршрутизацией.

Как это выглядит в агентном цикле

Представим поддержку интернет-магазина. Клиент пишет: «Stripe не подключается третий день, я теряю продажи». Агенту нужно определить срочность и следующий шаг.

Обычная LLM может получить системный промпт, описание инструментов и JSON-схему, а затем сгенерировать объект вроде urgent и объяснение. JEV устроен иначе: разработчик передаёт контекст и вопросы с ожидаемыми типами. Примитив Choice выбирает один вариант из списка, Score выставляет оценку, а Noul возвращает вероятность истинности утверждения. Несколько независимых вопросов к одному контексту можно обработать за один запрос.

Полученный результат сразу участвует в обычной программной логике. Если вероятность критического инцидента выше установленного порога, обращение уходит оператору. Если она ниже, агент ищет ответ в базе знаний. В пограничной зоне можно вызвать большую LLM или запросить дополнительные сведения.

Такой компонент не заменяет весь агент. Он берёт на себя узкую развилку внутри цикла «наблюдение — решение — действие», после которой работу продолжают API, RAG, инструменты или генеративная модель.

Где появляется практическая выгода

Главный кандидат — операции с ограниченным набором допустимых исходов: классификация тикетов, выбор инструмента, оценка срочности, проверка необходимости эскалации. Здесь свободная генерация действительно избыточна.

Выгода складывается из трёх частей. Во-первых, ответ имеет заранее заданный тип, поэтому не приходится вырезать JSON из текста. Во-вторых, несколько оценок можно запросить вместе. В-третьих, большая модель вызывается только там, где нужны рассуждение, синтез или хороший текст.

JEV не следует смешивать с RAG и reranker. RAG — это схема получения внешнего контекста. Reranker сортирует найденные документы по релевантности запросу. JEV выбирает действие или оценивает состояние. Все три компонента могут работать в одной системе: JEV решает обратиться к базе знаний, RAG находит фрагменты, а reranker отбирает лучшие.

Что проверить до внедрения

Типизированный ответ ещё не означает правильный ответ. Число 92% выглядит убедительно, но без калибровки на ваших данных оно может плохо отражать реальную частоту ошибок. Особенно опасно автоматически связывать такую оценку с платежами, блокировками аккаунтов или другими необратимыми действиями.

Начните с теневого режима: записывайте решения JEV, но не исполняйте их автоматически. Сравните модель с простыми правилами, компактной LLM и текущим маршрутизатором по точности, задержке, стоимости и доле эскалаций. Отдельно измеряйте ошибки на редких и дорогих сценариях.

Если задачу надёжно решает if/else, нейросеть не нужна. Если вариантов мало, но правила расползаются и зависят от смысла текста, специализированная модель становится интересной. Практический вывод простой: JEV стоит рассматривать не как «убийцу LLM», а как узкий маршрутизатор, который освобождает большую модель от рутинных решений.