Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизОткрытые веса · В работуTNW→ оригинал

Baseten выпустила joey-1: модель отвечает «да/нет» за 20 мс и $0,01 за млн токенов

Baseten выпустила joey-1 — открытую модель на 2 млрд параметров: вместо текста она выдаёт «да/нет» или номер варианта и вероятность, например «спам, 94%». Миллион токенов (кусочков текста, по которым считают цену) стоит $0,01, а запрос на 2000 токенов обрабатывается за 20 мс. Для сортировки тикетов, поиска спама и блокировки вредных промптов этого хватает без большой LLM. Поэтому рутинную классификацию выгоднее отдавать узким моделям.

AI-обработка оригинала TNW; редакция Hamidun News
Baseten выпустила joey-1: модель отвечает «да/нет» за 20 мс и $0,01 за млн токенов
Источник: TNW. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTNW ↗
Главный редактор
Разметка 10 млн тикетов в месяцоколо $50 против $500 на mammoth-1
Ключевой факт #2Быстрее elephant-1 в 2,5 раза; основа — Qwen3.5-2B от Alibaba
Ключевой факт #3Веса открыты на Hugging Face под лицензией MIT

Многие компании гоняют большие языковые модели на задачах, где текст вообще не нужен: спам это или нет, в какую очередь отправить обращение клиента, не пытается ли пользователь обойти защиту. Для такого хватает короткого ответа «да», «нет» или «вариант B». Именно под это Baseten выпустила joey-1 — открытую модель на 2 млрд параметров. Она не пишет абзацы, а возвращает ответ и вероятность, например «спам, уверенность 94%». По заявлению компании, типичный запрос на 2000 токенов (токен — кусочек слова, по токенам считают цену) она обрабатывает примерно за 20 миллисекунд, а миллион токенов стоит $0,01.

Чем joey-1 отличается от обычной LLM

Обычная языковая модель отвечает текстом, который потом приходится разбирать кодом: искать в нём слово «да», проверять формат, бороться с лишней болтовнёй. Joey-1 устроена иначе: на выходе сразу готовый выбор и число, насколько модель в нём уверена.

Вероятность удобна в продакшне. Уверенные случаи можно обрабатывать автоматически, а сомнительные отправлять человеку или более сильной модели. Это знакомая схема: сначала дешёвый фильтр, потом дорогой разбор только для спорного.

Joey-1 входит в одну линейку с более крупными mammoth-1 и elephant-1. Их неделей раньше выпустила исследовательская лаборатория Baseten — Base Labs. Похожий подход в сентябре показала и TypeSafe AI, так что формат «модель-решатель» постепенно становится отдельной нишей.

Сколько это стоит и что под капотом

Baseten приводит простой расчёт: разметка 10 млн тикетов поддержки в месяц на joey-1 обойдётся примерно в $50. На mammoth-1 та же работа стоила бы около $500. По скорости joey-1 примерно в 2,5 раза быстрее elephant-1. Для сравнения, Microsoft в этом месяце выпустила свою модель на базе Qwen по цене $0,042 за миллион токенов, то есть примерно в четыре раза дороже.

Основа joey-1 — Qwen3.5-2B от Alibaba. Baseten дообучила её на 6,21 млн примеров решений. Веса лежат на Hugging Face под лицензией MIT: их можно свободно использовать в коммерческих продуктах и запускать на своих серверах.

Что проверить перед внедрением

Есть важная оговорка. Baseten называет joey-1 сильнейшей решающей моделью среди тех, у которых не больше 3 млрд параметров, но тесты, стоящие за этим утверждением, пока не опубликованы. В карточке модели она занимает 37-е место из 230 в рейтинге Jev Decision Index и показывает лучший результат среди моделей меньше 4 млрд параметров. Для такого размера результат хороший, но общий рейтинг не гарантирует, что модель справится именно с вашими тикетами или с вашим определением «вредного» запроса. Скорость и цену тоже пока называет сама компания, независимых замеров в источнике нет.

Практический вывод для команд такой. Если в вашем продукте большая LLM занята сортировкой, фильтрацией или маршрутизацией, соберите небольшой набор своих размеченных примеров и сравните joey-1 с текущим решением по точности и цене. Из-за открытых весов и лицензии MIT пробный запуск почти ничего не стоит.

Второй совет — использовать вероятность как порог. Уверенные ответы пусть обрабатываются автоматически, а спорные уходят на ручную проверку или к более мощной модели. Так можно сохранить качество и сэкономить на основной массе запросов.

Для самой Baseten это ещё и вопрос позиционирования. Компания помогает бизнесу запускать модели, в июне её оценивали в сумму до $13 млрд, а теперь она выпускает и собственные. Дешёвые решающие модели — удобный способ привлечь клиентов, которым нужен массовый инференс, а не красивые тексты.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: чем joey-1 отличается от обычной LLM?

Обычная языковая модель отвечает текстом, который потом приходится разбирать кодом: искать в нём слово «да», проверять формат, бороться с лишней болтовнёй. Joey-1 устроена иначе: на выходе сразу готовый выбор и число, насколько модель в нём уверена. Вероятность удобна в продакшне. Уверенные случаи можно обрабатывать автоматически, а сомнительные отправлять человеку или более сильной модели. Это знакомая схема: сначала дешёвый фильтр, потом дорогой разбор только для спорного.

Что известно по теме: сколько это стоит и что под капотом?

Baseten приводит простой расчёт: разметка 10 млн тикетов поддержки в месяц на joey-1 обойдётся примерно в $50. На mammoth-1 та же работа стоила бы около $500. По скорости joey-1 примерно в 2,5 раза быстрее elephant-1. Для сравнения, Microsoft в этом месяце выпустила свою модель на базе Qwen по цене $0,042 за миллион токенов, то есть примерно в четыре раза дороже. Основа joey-1 — Qwen3.5-2B от Alibaba. Baseten дообучила её на 6,21 млн примеров решений.

Что известно по теме: что проверить перед внедрением?

Есть важная оговорка. Baseten называет joey-1 сильнейшей решающей моделью среди тех, у которых не больше 3 млрд параметров, но тесты, стоящие за этим утверждением, пока не опубликованы. В карточке модели она занимает 37-е место из 230 в рейтинге Jev Decision Index и показывает лучший результат среди моделей меньше 4 млрд параметров. Для такого размера результат хороший, но общий рейтинг не гарантирует, что модель справится именно с вашими тикетами или с вашим определением «вредного» запроса.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…