System One-модели Jev: Glean, UiPath и Workday вшивают быстрые вызовы прямо в код

Знакомая боль: LLM в продуктовом коде ведёт себя как лотерея. Диого Алмейда, сооснователь и CEO TypeSafe AI, сформулировал это на AI Engineer Code Summit так: в 95% случаев вы получаете Эйнштейна, в остальных 5% — Мистера Бина. И если не можешь отличить одно от другого, автоматизировать нечего. Его ответ на эту проблему называется System One.

Что такое System One-модели

Это негенеративные модели. Они не пишут связный текст и не рассуждают шаг за шагом. Они возвращают структурированный результат: один вариант из списка, оценку или вероятность. Поэтому они, как правило, заметно быстрее и дешевле рассуждающих LLM, которых на конференции называли System Two.

Простой пример. Раньше вы просили LLM «оцени, относится ли этот документ к запросу», получали абзац рассуждений и парсили его регулярками. Теперь вы вызываете модель, которая сразу отдаёт число или метку. Её можно поставить в цикл, в условие if или в сортировку, и вести себя она будет предсказуемо.

Jev — продукт, с которого, по версии Latent Space, началась эта волна. Он вышел в сентябре, а подкаст с Алмейдой стал самым популярным эпизодом издания за год. Главный тезис Алмейды для инженеров: код — язык автоматизации, значит модель нужно встраивать в код. Основатель Latent Space swyx перевёл это так: щедро рассыпайте вызовы System One внутри приложения вместо «склеим строки и понадеемся на лучшее».

Что уже строят

Glean использует System One рядом с LLM и другими классификаторами. Chinmay Goyal отметил главное преимущество Jev — zero-shot-гибкость: когда меняется таксономия решений, модели не нужно дообучать снова и снова. Пользователям Glean при этом всё равно, что под капотом, и компания сознательно прячет это различие.

UiPath показала паттерн «турнир». Jev выбирает самые релевантные фрагменты документов из небольших групп, победители проходят в следующий раунд, и так до финала. Весь процесс занял меньше секунды, хотя вызовов Jev были тысячи. Вывод инженеров UiPath: по отдельности модель может казаться не слишком умной, но в правильной схеме из таких блоков получается система умнее.

Инженер Workday Scott Roberts показал прототип, где интерфейс начинает заполнять карточку отпуска, пока пользователь ещё печатает. Быстрый вызов модели здесь не просто ускоряет форму, а меняет поведение самого софта: от предсказания того, что вы хотите сказать, к предсказанию того, что вы хотите сделать.

Ограничения

Это репортаж с конференции, а не бенчмарк. Цифр точности в материале нет, а «95% Эйнштейна» — шутка со сцены, а не измерение. Jev существует меньше двух месяцев, так что о долгой эксплуатации говорить рано. Кроме того, Алмейда прямо сравнил нынешний момент с ранним интернетом, когда эксперименты ценны уже тем, что они возможны. Это вдохновляет, но продуктовым обоснованием не является. Рассуждающие LLM тоже никуда не уходят: тот же Glean использует их вместе с System One.

Что делать на практике

1. Пройдитесь по коду и найдите места, где LLM используется как классификатор, ранжировщик или маршрутизатор. Это первые кандидаты на замену быстрой моделью.
2. Попробуйте турнирную схему для ранжирования: много дешёвых вызовов на маленьких группах вместо одного дорогого на всём списке.
3. Замерьте на своих данных точность, задержку и стоимость, не полагаясь на выступления. Для надёжной автоматизации важна не средняя точность, а то, насколько предсказуем результат.
4. Подумайте, где мгновенный отклик меняет интерфейс. Автозаполнение формы по ходу ввода — как раз такой случай.

Главное в этой истории не конкретный продукт, а сдвиг в архитектуре: не каждое решение в приложении нужно отдавать большой генеративной модели.