Starts Nov 23Live Cohort 3 of Vibe Coding & AI Agents: 3 weeks, 9 live hands-on sessionsCohort 3 (Nov 23) →
This article hasn't been translated into English yet — showing the Russian original.
ReleaseAPI / Product · ActionableIEEE Spectrum AI→ original

Новая модель Jev отвечает за 150 мс вместо 1,89 с у GPT-6 Astra

Если нужно быстро решить, спам ли письмо или нарушает ли правила комментарий, писать текст большой LLM не обязательно. Стартап TypeSafe AI выпустил Jev: модель выбирает один вариант из заданных (A, B или C) и отвечает в среднем за 150 мс, а GPT-6 Astra тратит 1,89 секунды. Выдумать ответ вне списка она не может, но в математике и логических задачах всё равно ошибается. Поэтому её стоит ставить на простые вердикты, а сложное оставлять большой LLM.

AI-processed from IEEE Spectrum AI; edited by Hamidun News
Article Fact Sheet & Key Figures
ParameterDetails
Primary sourceIEEE Spectrum AI ↗
Editor-in-Chief
Key metric #1Jev берёт $0,042 за миллион входных токенов, выходные бесплатны
Key metric #2GPT-6 Astra стоит $10 за миллион входных и $50 за выходных токенов
Открытые аналогиClef от Cloudflare на Qwen и SII-Decision

Если вы гоняете через большую языковую модель модерацию комментариев, проверку писем на фишинг или сортировку обращений, вы, скорее всего, ждёте и платите больше, чем нужно. Для таких задач не требуется связный текст, достаточно короткого вердикта: «да», «нет» или «вариант B». Именно на этом построен новый класс «моделей решений». 15 сентября стартап TypeSafe AI выпустил самую известную из них — Jev. По данным независимой проверки, его медианная задержка составила 150 миллисекунд, тогда как GPT-6 Astra от OpenAI отвечала за 1,89 секунды. Разберёмся, откуда такая разница и где у неё предел.

Почему модель решений быстрая

TypeSafe AI называет Jev «моделью Системы 1» — это отсылка к книге Даниэля Канемана «Думай медленно… решай быстро», где быстрое интуитивное мышление противопоставлено медленному обдуманному. По мысли компании, обычные LLM дают второе, но слишком медленны для первого. Большинство исследователей называют такие модели просто decision models.

Механика простая. LLM генерирует ответ по одному токену: каждый следующий зависит от всех предыдущих, и так до конца ответа. Как объясняет Мишель Чен из Cloudflare, модель решений так не делает: она за один проход читает весь вход и сразу выдаёт один результат. Внутри остаются те же трансформеры — например, Clef от Cloudflare построена на Qwen от Alibaba, — но выход жёстко ограничен. Вы даёте вопрос и варианты A, B и C, а модель возвращает выбор и вероятности по каждому варианту.

Компания заявляет сквозную задержку 70–500 мс. Группа Карнеги — Меллона во главе с Рамайей Кришнаном измерила медиану 150 мс на тестах RewardBench и JudgeBench. Цена тоже другая: Jev берёт $0,042 за миллион входных токенов, выходные бесплатны. У GPT-6 Astra это $10 за вход и $50 за выход, у облегчённой GPT-6 Luna — $0,10 и $0,50. Инвесторы поверили: TypeSafe AI привлекла $870 млн при оценке $7,5 млрд, а Cloudflare, Amazon, OpenAI и Microsoft быстро выпустили собственные модели решений.

Старые классификаторы с новым умением

Чен признаёт, что это почти ребрендинг: классификаторы вроде спам-фильтров и распознавания лиц существуют давно. Но раньше под каждую задачу приходилось собирать данные, поднимать команду машинного обучения и дообучать модель. Модель решений наследует общие знания LLM, поэтому, по словам независимого разработчика Мэтта Мастраччи, её можно «взять с полки, направить на свою задачу, и она работает».

Cloudflare уже использует такой подход: отсеивает спамные запросы на слияние кода в репозитории документации, ловит спам и фишинговые письма и домены, обнаруживает атаки prompt injection на LLM и читает письма о сбоях магистральных каналов, чтобы понять, заденут ли они сервисы компании. Мастраччи видит потенциал в модерации потока соцсетей или очень оживлённого чата.

Галлюцинаций нет, ошибки есть

Заявление TypeSafe AI, что Jev не может галлюцинировать, формально верно. LLM выдумывают, потому что на каждом шаге выбирают из огромного словаря и могут свернуть не туда. Модель решений считает вероятности только среди заранее заданных вариантов и выбирает самый вероятный, так что ответа вне списка быть не может.

Но Кришнан предупреждает: отсутствие галлюцинаций в выводе не означает отсутствия ошибок в решении. Jev хорошо определял, верен ли ответ на вопрос, когда это видно из самого текста, но хуже справлялся, когда требовалась математика или логическая головоломка. Исследование Чжунъюя Вэя из Фуданьского университета, где представлена открытая модель SII-Decision, показало похожую картину: лучшие модели решений чуть точнее LLM в понимании документов и близки к ним в выборе нужного программного инструмента, но отстают там, где нужна профильная экспертиза.

Что делать на практике

Чен считает, что до 80% типовых задач LLM можно переложить на модель решений. Это оценка вендора, и относиться к ней стоит как к гипотезе. Проверить её несложно: возьмите журнал своих запросов, выделите задачи вида «выбери вариант» и прогоните их через открытую Clef или SII-Decision. Если на вашей выборке качество сопоставимо, вы выиграете в скорости и деньгах. Если нет, оставьте такие случаи большой модели.

Story

Key Questions Answered

What are the key details on почему модель решений быстрая?

TypeSafe AI называет Jev «моделью Системы 1» — это отсылка к книге Даниэля Канемана «Думай медленно… решай быстро», где быстрое интуитивное мышление противопоставлено медленному обдуманному. По мысли компании, обычные LLM дают второе, но слишком медленны для первого. Большинство исследователей называют такие модели просто decision models. Механика простая. LLM генерирует ответ по одному токену: каждый следующий зависит от всех предыдущих, и так до конца ответа.

What are the key details on старые классификаторы с новым умением?

Чен признаёт, что это почти ребрендинг: классификаторы вроде спам-фильтров и распознавания лиц существуют давно. Но раньше под каждую задачу приходилось собирать данные, поднимать команду машинного обучения и дообучать модель. Модель решений наследует общие знания LLM, поэтому, по словам независимого разработчика Мэтта Мастраччи, её можно «взять с полки, направить на свою задачу, и она работает».

What are the key details on галлюцинаций нет, ошибки есть?

Заявление TypeSafe AI, что Jev не может галлюцинировать, формально верно. LLM выдумывают, потому что на каждом шаге выбирают из огромного словаря и могут свернуть не туда. Модель решений считает вероятности только среди заранее заданных вариантов и выбирает самый вероятный, так что ответа вне списка быть не может. Но Кришнан предупреждает: отсутствие галлюцинаций в выводе не означает отсутствия ошибок в решении.

ZK
Zhemal Khamidun — CPO at Alpina Digital, product manager of AlpinaGPT. Building AI products since 2019. Hamidun News is a pet project that grew into a production aggregator with 6,000+ readers.
✦ Private AI Builders Community · Vibe Club

Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews

Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.

Join Vibe Club →Explore Hamidun Academy
What do you think?
Loading comments…