Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизНаучная статья · В песочницуTechCrunch→ оригинал

Decision-модели заняли более 25% запросов в роутере Vercel через месяц после появления

Decision-модели — это LLM, которые не пишут текст, а быстро и дёшево выбирают один из готовых вариантов и сообщают, насколько уверены. В октябре на них пришлось больше 25% запросов в роутере Vercel, хотя класс появился месяцем раньше. Microsoft запустила свою модель в Azure, а стартап Sqwish привлёк $3 млн на дообучение под данные клиента. Поэтому такие модели стоит сравнивать на собственном трафике, а не по бенчмаркам.

AI-обработка оригинала TechCrunch; редакция Hamidun News
Decision-модели заняли более 25% запросов в роутере Vercel через месяц после появления
Источник: TechCrunch. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTechCrunch ↗
Главный редактор
TypeSafe Jevза неделю OpenRouter обработал свыше 1,5 млрд запросов
Ключевой факт #2Sqwish (kettei fat) собрал $3 млн pre-seed и дообучает модель на данных клиента
Ключевой факт #3Microsoft-Decision-1.1 стала доступна в Azure сразу после анонса Наделлы

Если вы строите продукт на LLM, у вас наверняка есть задачи, для которых большая модель — перебор. Определить, к какой категории относится тикет. Решить, пускать ли запрос в дорогую модель или хватит дешёвой. Понять, спам перед вами или нет. Для таких задач за последний месяц появился отдельный класс моделей, и он растёт стремительно: по данным TechCrunch, в октябре больше каждого четвёртого запроса в AI-роутере Vercel ушёл не к обычным LLM, а к decision-моделям.

Что такое decision-модель

Это LLM, которая не генерирует ответ словами. Её настраивают так, чтобы она использовала общий «интеллект» и быстро, дёшево выбирала между заранее заданными вариантами, а заодно показывала, насколько уверена в выборе. Представьте дежурного администратора, который не пишет вам письмо, а просто ставит галочку в нужной графе и добавляет: «уверен на 90%». Для продакшена это удобно: когда решение нужно за доли секунды и за копейки, медленная и дорогая frontier-модель с длинными рассуждениями только мешает.

Любопытно, как быстро всё случилось. Компания TypeSafe стала стоить $7,5 млрд после выхода семейства моделей Jev, и оно по-прежнему лидирует по использованию — по крайней мере там, где метрики видны. Например, через OpenRouter на модели TypeSafe на прошлой неделе пришло больше 1,5 млрд запросов. Но сделать такую модель оказалось несложно: после Jev вышли десятки аналогов, один инженер Amazon собрал свою за выходные, а у каждого гиперскейлера теперь есть собственный вариант. Во вторник Сатья Наделла объявил, что Microsoft сразу запускает Microsoft-Decision-1.1 для широкого использования в Azure.

Данные важнее архитектуры

Если сделать модель легко, чем выделиться? Глава TypeSafe Диогу Алмейда говорит, что самым трудным в Jev была тонкая калибровка суждений на синтетических данных со статистической корректировкой. То есть важно не только то, что модель выбирает, но и насколько честно она оценивает собственную уверенность.

Британский стартап Sqwish, создатель модели kettei fat, делает ставку на кастомизацию. Сегодня он объявил о pre-seed раунде на $3 млн. Сооснователи Ушниш Сengupta и Федерика Фреддди познакомились в Кембридже, занимались небольшими LLM, а когда появилась Jev, поняли, что их архитектуры можно переделать под decision-модель. Фишка Sqwish — встроенные инструменты дообучения: клиент загружает свои продакшен-данные, и модель становится лучше именно на его задачах. По словам CEO, это и отличает компанию от commodity-продукта: клиентам дают ту же силу, с помощью которой модели обучали у самих авторов.

Бенчмарки — лишь приглашение

Сравнить такие модели по таблицам трудно. kettei fat хорошо показала себя на некоторых бенчмарках, но разработчики сами признают, что проверять надо в деле. Заменить одну модель другой в конкретном сценарии обычно просто. Сенгупта называет бенчмарк «приглашением попробовать», а удерживать клиента должно непрерывное дообучение.

Похожую мысль высказал и Ачинт Шривастава, вице-президент Microsoft по инженерии, руководивший проектом. По его словам, «забенчмаксенные» модели быстро проваливаются в реальной корпоративной эксплуатации. Microsoft-Decision-1.1 балансирует стоимость, задержку, интеллект и калибровку, а вместе с Jev, как утверждает компания, одна из немногих сильна по всем четырём осям, в том числе на отложенных тестах, близких к реальным сценариям. Учтите: это заявление самой Microsoft, независимых сравнений в материале нет.

Что это значит для разработчиков

Федерика Фреддди предсказывает, что в будущем «Система 1» (быстрые decision-модели) будет работать в паре с «Системой 2» — тяжёлыми frontier-LLM. Даже в таком мире, считает она, рынок «Системы 1» может стоить $10–50 млрд, и для Sqwish это единственное, чем она занимается, тогда как для OpenAI это побочный проект. Прогноз, конечно, стартаперский и не гарантия.

Практический вывод простой. Если часть вашего трафика — классификация и маршрутизация, попробуйте вынести её на decision-модель: это дешевле и быстрее. Выбирайте по своим данным, а не по лидербордам: подменить модель легко, так что прогоните два-три варианта на реальных запросах. Смотрите не только на точность, но и на калибровку уверенности: именно по ней вы решите, когда передавать задачу тяжёлой модели. И присмотритесь к тем, кто даёт дообучение на ваших данных, потому что именно там, судя по рынку, будет конкуренция.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что такое decision-модель?

Это LLM, которая не генерирует ответ словами. Её настраивают так, чтобы она использовала общий «интеллект» и быстро, дёшево выбирала между заранее заданными вариантами, а заодно показывала, насколько уверена в выборе. Представьте дежурного администратора, который не пишет вам письмо, а просто ставит галочку в нужной графе и добавляет: «уверен на 90%». Для продакшена это удобно: когда решение нужно за доли секунды и за копейки, медленная и дорогая frontier-модель с длинными рассуждениями только мешает.

Что известно по теме: данные важнее архитектуры?

Если сделать модель легко, чем выделиться? Глава TypeSafe Диогу Алмейда говорит, что самым трудным в Jev была тонкая калибровка суждений на синтетических данных со статистической корректировкой. То есть важно не только то, что модель выбирает, но и насколько честно она оценивает собственную уверенность. Британский стартап Sqwish, создатель модели kettei fat, делает ставку на кастомизацию. Сегодня он объявил о pre-seed раунде на $3 млн.

Что известно по теме: бенчмарки — лишь приглашение?

Сравнить такие модели по таблицам трудно. kettei fat хорошо показала себя на некоторых бенчмарках, но разработчики сами признают, что проверять надо в деле. Заменить одну модель другой в конкретном сценарии обычно просто. Сенгупта называет бенчмарк «приглашением попробовать», а удерживать клиента должно непрерывное дообучение. Похожую мысль высказал и Ачинт Шривастава, вице-президент Microsoft по инженерии, руководивший проектом.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…