Новая модель Jev отвечает за 150 мс вместо 1,89 с у GPT-6 Astra
Если нужно быстро решить, спам ли письмо или нарушает ли правила комментарий, писать текст большой LLM не обязательно. Стартап TypeSafe AI выпустил Jev: модель выбирает один вариант из заданных (A, B или C) и отвечает в среднем за 150 мс, а GPT-6 Astra тратит 1,89 секунды. Выдумать ответ вне списка она не может, но в математике и логических задачах всё равно ошибается. Поэтому её стоит ставить на простые вердикты, а сложное оставлять большой LLM.
AI-обработка оригинала IEEE Spectrum AI; редакция Hamidun News
Если вы гоняете через большую языковую модель модерацию комментариев, проверку писем на фишинг или сортировку обращений, вы, скорее всего, ждёте и платите больше, чем нужно. Для таких задач не требуется связный текст, достаточно короткого вердикта: «да», «нет» или «вариант B». Именно на этом построен новый класс «моделей решений». 15 сентября стартап TypeSafe AI выпустил самую известную из них — Jev. По данным независимой проверки, его медианная задержка составила 150 миллисекунд, тогда как GPT-6 Astra от OpenAI отвечала за 1,89 секунды. Разберёмся, откуда такая разница и где у неё предел.
Почему модель решений быстрая
TypeSafe AI называет Jev «моделью Системы 1» — это отсылка к книге Даниэля Канемана «Думай медленно… решай быстро», где быстрое интуитивное мышление противопоставлено медленному обдуманному. По мысли компании, обычные LLM дают второе, но слишком медленны для первого. Большинство исследователей называют такие модели просто decision models.
Механика простая. LLM генерирует ответ по одному токену: каждый следующий зависит от всех предыдущих, и так до конца ответа. Как объясняет Мишель Чен из Cloudflare, модель решений так не делает: она за один проход читает весь вход и сразу выдаёт один результат. Внутри остаются те же трансформеры — например, Clef от Cloudflare построена на Qwen от Alibaba, — но выход жёстко ограничен. Вы даёте вопрос и варианты A, B и C, а модель возвращает выбор и вероятности по каждому варианту.
Компания заявляет сквозную задержку 70–500 мс. Группа Карнеги — Меллона во главе с Рамайей Кришнаном измерила медиану 150 мс на тестах RewardBench и JudgeBench. Цена тоже другая: Jev берёт $0,042 за миллион входных токенов, выходные бесплатны. У GPT-6 Astra это $10 за вход и $50 за выход, у облегчённой GPT-6 Luna — $0,10 и $0,50. Инвесторы поверили: TypeSafe AI привлекла $870 млн при оценке $7,5 млрд, а Cloudflare, Amazon, OpenAI и Microsoft быстро выпустили собственные модели решений.
Старые классификаторы с новым умением
Чен признаёт, что это почти ребрендинг: классификаторы вроде спам-фильтров и распознавания лиц существуют давно. Но раньше под каждую задачу приходилось собирать данные, поднимать команду машинного обучения и дообучать модель. Модель решений наследует общие знания LLM, поэтому, по словам независимого разработчика Мэтта Мастраччи, её можно «взять с полки, направить на свою задачу, и она работает».
Cloudflare уже использует такой подход: отсеивает спамные запросы на слияние кода в репозитории документации, ловит спам и фишинговые письма и домены, обнаруживает атаки prompt injection на LLM и читает письма о сбоях магистральных каналов, чтобы понять, заденут ли они сервисы компании. Мастраччи видит потенциал в модерации потока соцсетей или очень оживлённого чата.
Галлюцинаций нет, ошибки есть
Заявление TypeSafe AI, что Jev не может галлюцинировать, формально верно. LLM выдумывают, потому что на каждом шаге выбирают из огромного словаря и могут свернуть не туда. Модель решений считает вероятности только среди заранее заданных вариантов и выбирает самый вероятный, так что ответа вне списка быть не может.
Но Кришнан предупреждает: отсутствие галлюцинаций в выводе не означает отсутствия ошибок в решении. Jev хорошо определял, верен ли ответ на вопрос, когда это видно из самого текста, но хуже справлялся, когда требовалась математика или логическая головоломка. Исследование Чжунъюя Вэя из Фуданьского университета, где представлена открытая модель SII-Decision, показало похожую картину: лучшие модели решений чуть точнее LLM в понимании документов и близки к ним в выборе нужного программного инструмента, но отстают там, где нужна профильная экспертиза.
Что делать на практике
Чен считает, что до 80% типовых задач LLM можно переложить на модель решений. Это оценка вендора, и относиться к ней стоит как к гипотезе. Проверить её несложно: возьмите журнал своих запросов, выделите задачи вида «выбери вариант» и прогоните их через открытую Clef или SII-Decision. Если на вашей выборке качество сопоставимо, вы выиграете в скорости и деньгах. Если нет, оставьте такие случаи большой модели.
- 18 нояб. 2026 г.AWS встроил Dynamo в HyperPod: Qwen3-235B выдаёт 207 вместо 101 токена/с на GPU
- 18 нояб. 2026 г.Хуанг ушёл с поста CEO NVIDIA, компания потеряла более $1 трлн капитализации
- 18 нояб. 2026 г.Лучший кодинг-агент управляет роботом в 77% задач, но с одними сенсорами — только в 30%
- 18 нояб. 2026 г.Moonshot AI переключает Kimi с кода на науку: анализ генов за 90 минут вместо 4 часов
Вопросы и ответы по материалу
Что известно по теме: почему модель решений быстрая?
TypeSafe AI называет Jev «моделью Системы 1» — это отсылка к книге Даниэля Канемана «Думай медленно… решай быстро», где быстрое интуитивное мышление противопоставлено медленному обдуманному. По мысли компании, обычные LLM дают второе, но слишком медленны для первого. Большинство исследователей называют такие модели просто decision models. Механика простая. LLM генерирует ответ по одному токену: каждый следующий зависит от всех предыдущих, и так до конца ответа.
Что известно по теме: старые классификаторы с новым умением?
Чен признаёт, что это почти ребрендинг: классификаторы вроде спам-фильтров и распознавания лиц существуют давно. Но раньше под каждую задачу приходилось собирать данные, поднимать команду машинного обучения и дообучать модель. Модель решений наследует общие знания LLM, поэтому, по словам независимого разработчика Мэтта Мастраччи, её можно «взять с полки, направить на свою задачу, и она работает».
Что известно по теме: галлюцинаций нет, ошибки есть?
Заявление TypeSafe AI, что Jev не может галлюцинировать, формально верно. LLM выдумывают, потому что на каждом шаге выбирают из огромного словаря и могут свернуть не туда. Модель решений считает вероятности только среди заранее заданных вариантов и выбирает самый вероятный, так что ответа вне списка быть не может. Но Кришнан предупреждает: отсутствие галлюцинаций в выводе не означает отсутствия ошибок в решении.
Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами
Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.