Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуХабр: NLP→ оригинал

Jev вместо текста выдаёт решения в 40–200 раз быстрее LLM, Google ответил аналогом

Агенту часто нужен не текст, а быстрый выбор: какой инструмент вызвать или опасно ли действие. TypeSafe AI выпустила Jev: модель получает описание ситуации и список вопросов и за один проход возвращает ответы с вероятностями, без разбора текста. По данным компании, на таких задачах она в 40–200 раз быстрее обычных LLM. Google в ноябре ответил Gemini Decision 1, поэтому для быстрых решений в агентах стоит смотреть на такие модели.

AI-обработка оригинала Хабр: NLP; редакция Hamidun News
Jev вместо текста выдаёт решения в 40–200 раз быстрее LLM, Google ответил аналогом
Источник: Хабр: NLP. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникХабр: NLP ↗
Главный редактор
Gemini Decision 1задержка 150–250 мс, $0,10 за млн входных токенов
Ключевой факт #2До 1000 вопросов за запрос и контекст 256 тыс. токенов у модели Google
Ключевой факт #3Скорость Jev — заявление вендора на задачах автоматизации, не на всех

Представьте агента поддержки, которому пришло письмо клиента. Ему нужно решить три вещи: вернуть деньги, передать запрос человеку или просто ответить, и требуется ли дополнительная проверка. Обычная LLM для этого напишет абзац текста, который потом придётся разбирать парсером. В сентябре 2026 года TypeSafe AI предложила другой путь: модель Jev не генерирует текст вообще. Она получает описание ситуации и список вопросов с заранее заданными вариантами ответа и сразу возвращает выбор с вероятностью. По данным самой компании, на подходящих задачах автоматизации это в 40–200 раз быстрее традиционных LLM. А 11 ноября в эту нишу вошёл Google с Gemini Decision 1. Разберём, что это за модели и какие ещё альтернативы GPT уже вышли из лабораторий.

Модели, которые не пишут текст: Jev и Gemini Decision 1

У GPT-подобных LLM две характерные черты: архитектура decoder-only Transformer и авторегрессионная генерация, когда следующий токен предсказывается по предыдущим (как Т9, только мощнее). Это независимые свойства, и заменить можно любое из них.

Jev отказывается от последовательной генерации там, где приложению нужен конкретный ответ: выбрать инструмент, классифицировать запрос, оценить риск, определить следующий шаг. Вопросы обрабатываются параллельно, результат приходит структурированным, вместе с вероятностями. Обучают модель методом Reinforcement Learning for Calibrated Decisions (RLCD). Он учит не только выбирать верный вариант, но и честно оценивать уверенность в нём: если модель говорит «уверена на 90%», так и должно быть в жизни.

Цифру 40–200 раз нужно читать осторожно. Это сравнение вендора на специфических сценариях, а не универсальное ускорение ИИ. Внутреннюю архитектуру Jev компания пока не раскрыла, поэтому причислять её к SSM или линейному attention рано. Jev и не претендует на замену универсальных LLM: одна модель может писать код, а другая быстро решать, какой инструмент вызвать.

Gemini Decision 1 работает по тому же принципу: за один проход оценивает варианты и возвращает вероятности и показатели уверенности. Но она мультимодальна: понимает текст, изображения, аудио, видео и PDF, держит контекст до 256 тысяч токенов и принимает до 1000 независимых вопросов за запрос. Google заявляет задержку 150–250 мс и цену $0,10 за миллион входных токенов, выходные не тарифицируются. По тестам самой компании, модель опережает Jev на части бенчмарков, но не на всех. Google использует её для маршрутизации запросов между моделями и проверки безопасности инструментов.

Рекуррентные сети, линейный attention и гибриды

Рекуррентные сети не исчезли, их пересобрали. RWKV хранит рекуррентное состояние при выводе, а обучается параллельно. Несмотря на Key и Value в названии, растущего KV-cache (памяти со старыми ключами и значениями) там нет. xLSTM обновляет классическую LSTM: экспоненциальный gating и матричная память. Команда NXAI обучила 7-миллиардную модель и открыла код и веса. Но открытые веса не значат, что модель легко встанет в ваш inference-сервер: нужны специальные kernels, квантование и нормальный батчинг, а тут у Transformer большое преимущество.

Линейный attention сжимает историю в компактное состояние, чтобы не хранить ключи и значения каждого токена. Главный вопрос — как не стереть важное. DeltaNet перед записью учитывает уже сохранённую связь и поправляет память. Gated DeltaNet управляет забыванием, Kimi Delta Attention (KDA) делает это по каналам. В 2026 году NVIDIA предложила Gated DeltaNet-2, где стирание и запись регулируются раздельно.

На практике чаще встречаются гибриды. Qwen3-Next-80B-A3B содержит 80 млрд параметров, около 3 млрд из них активны на токен, а слои Gated DeltaNet чередуются с глобальным attention. Разница между общими и активными параметрами — заслуга MoE, а не новой архитектуры. В Kimi Linear 48B-A3B от Moonshot AI на три слоя KDA приходится один слой полного attention: дешёвые блоки обрабатывают основную часть последовательности, а глобальные сохраняют прямой доступ к контексту. KV-cache у таких моделей остаётся для глобальных слоёв, так что реальная экономия зависит от батча, длины текста и качества вычислительных ядер.

Свёртки и диффузия: LFM3, LLaDA, Mercury

Liquid AI показала, что свёртки пригодны и для текста. В LFM2 короткие свёртки сочетаются с отдельными слоями attention, а архитектуру подбирали под реальное железо, включая мобильные CPU. 27 октября 2026 года вышла LFM3 для текста, зрения и аудио. В текстовой LFM3-1.7B из 24 слоёв 13 свёрточных, 5 с локальным attention и 6 с глобальным. Это не модель без attention, он просто не нужен в каждом слое. Цель — локальные агенты при жёстких лимитах по памяти, энергии и задержке.

Диффузионные LLM меняют порядок генерации. Модель начинает с частично скрытой последовательности и за несколько шагов уточняет сразу много позиций. LLaDA показала конкурентные результаты на ряде задач при масштабе 6–10B, хотя внутри остаётся Transformer: отличие именно в неавторегрессионной генерации. Mercury от Inception Labs дошла до коммерческого API и кода. Параллельное уточнение даёт высокую пропускную способность в опубликованных тестах, но дополнительные итерации стоят вычислений, поэтому выигрыш зависит от длины ответа и железа. Для кода идея заманчива: правки часто нужны в середине файла. Однако качество такого редактирования надо проверять на реальных diff.

Что делать разработчику

Не стоит путать MoE, квантование, speculative decoding и RAG с новыми архитектурами: это способы удешевить LLM, а не замена GPT. Выбирать стоит по ограничению продукта. Потоковая обработка — рекуррентные модели, длинные репозитории — гибриды, локальные помощники — компактные модели под CPU или NPU, быстрые решения внутри агента — модели вроде Jev и Gemini Decision 1.

Пока ни RWKV, ни линейный attention, ни диффузия универсально не вытеснили Transformer: у него зрелая инфраструктура и проверенное масштабирование. Полезнее спрашивать не «какая модель умнее», а какая архитектура на каком железе и с какой агентной обвязкой лучше решает вашу задачу. Все цифры ускорения здесь заявлены вендорами, поэтому проверяйте их на собственной нагрузке.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: модели, которые не пишут текст: Jev и Gemini Decision 1?

У GPT-подобных LLM две характерные черты: архитектура decoder-only Transformer и авторегрессионная генерация, когда следующий токен предсказывается по предыдущим (как Т9, только мощнее). Это независимые свойства, и заменить можно любое из них. Jev отказывается от последовательной генерации там, где приложению нужен конкретный ответ: выбрать инструмент, классифицировать запрос, оценить риск, определить следующий шаг. Вопросы обрабатываются параллельно, результат приходит структурированным, вместе с вероятностями.

Что известно по теме: рекуррентные сети, линейный attention и гибриды?

Рекуррентные сети не исчезли, их пересобрали. RWKV хранит рекуррентное состояние при выводе, а обучается параллельно. Несмотря на Key и Value в названии, растущего KV-cache (памяти со старыми ключами и значениями) там нет. xLSTM обновляет классическую LSTM: экспоненциальный gating и матричная память. Команда NXAI обучила 7-миллиардную модель и открыла код и веса.

Что известно по теме: свёртки и диффузия: LFM3, LLaDA, Mercury?

Liquid AI показала, что свёртки пригодны и для текста. В LFM2 короткие свёртки сочетаются с отдельными слоями attention, а архитектуру подбирали под реальное железо, включая мобильные CPU. 27 октября 2026 года вышла LFM3 для текста, зрения и аудио. В текстовой LFM3-1.7B из 24 слоёв 13 свёрточных, 5 с локальным attention и 6 с глобальным. Это не модель без attention, он просто не нужен в каждом слое. Цель — локальные агенты при жёстких лимитах по памяти, энергии и задержке.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…