Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизКод / SDK · В работуX: @vllm_project→ оригинал

Tencent открыла Hy4 flash: из 224 млрд параметров работают 12 млрд, контекст 1 млн токенов

Tencent открыла веса модели Hy4 flash, а движок vLLM поддержал её в день выхода. Всего в ней 224 млрд параметров, но на каждое слово работают лишь 12 млрд, поэтому ответы должны быть быстрее и дешевле, чем у плотной модели того же размера. Контекст в 1 млн токенов — это стопка толстых книг или пакет договоров в одном запросе. Есть готовый Docker-образ, так что проверить модель на своих документах можно за вечер, но памяти нужно под все 224 млрд.

AI-обработка оригинала X: @vllm_project; редакция Hamidun News
Tencent открыла Hy4 flash: из 224 млрд параметров работают 12 млрд, контекст 1 млн токенов
Источник: X: @vllm_project. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @vllm_project ↗
Главный редактор
Три версииHy4 flash, Hy4 flash-FP8 и базовая Hy4 flash-Base
Ключевой факт #2Из 224 млрд параметров 64 млрд приходятся на блок Engram
Образ для запускаvllm/vllm-openai:hy4-flash

Открытые модели всё чаще упираются не в качество, а в практический вопрос: на чём это запускать и сколько будет стоить каждый ответ. Tencent выпустила Hy4 flash с открытыми весами, а проект vLLM, популярный движок для запуска моделей, добавил поддержку в день релиза. Цифры в названии читаются так. 224 млрд — это общее число параметров, то есть «объём знаний» модели. 12 млрд — сколько из них участвует в обработке каждого токена, поэтому именно эта цифра определяет скорость и цену ответа. 1 млн токенов — размер контекста: примерно несколько толстых книг или большой пакет договоров, который можно загрузить в один запрос. Если вы сами хостите модели, ждать, пока сообщество допилит запуск, не придётся.

Что именно вышло

Hy4 flash создала команда Tencent Hunyuan. По описанию, это нативно мультимодальная модель: она работает не только с текстом, но и с изображениями, документами и слайдами. Заявленные сценарии — исследовательские задачи, работа с большими документами и презентациями, а также управление компьютером (computer use), когда модель смотрит на экран и действует как пользователь.

На Hugging Face выложены три варианта: основная Hy4 flash, квантованная Hy4 flash-FP8 и базовая Hy4 flash-Base. FP8 хранит веса в 8 битах и занимает вдвое меньше памяти, чем 16-битная версия. Base-версия не дообучена под диалог и нужна тем, кто хочет делать собственное дообучение.

Как понять «224B, но 12B»

Это принцип mixture-of-experts. Представьте большую юридическую фирму: в штате сотни человек, но над конкретным делом работают трое. Так и здесь: у модели много «специалистов», а на каждый токен подключается небольшая часть. Качество зависит от общего объёма знаний в весах, а скорость и цена ответа — от активной части. Поэтому Hy4 flash должна работать быстрее, чем плотная модель на 224 млрд параметров.

Среди архитектурных решений Tencent называет гибридное внимание, Latent MoE и Engram. Из 224 млрд параметров 64 млрд приходятся именно на Engram. Как устроен этот блок, в анонсе не объясняется, подробности стоит искать в карточке модели. Общий замысел Tencent формулирует так: эффективность поставлена в центр архитектуры. Модель позиционируется как быстрая и рассчитанная на повседневную продуктивность.

Что это даёт на практике

Главная новость для инженеров — поддержка в vLLM с нулевого дня. Есть готовый Docker-образ vllm/vllm-openai:hy4-flash и рецепт развёртывания на recipes.vllm.ai. Значит, поднять OpenAI-совместимый сервер с моделью можно теми же инструментами, что и для других открытых LLM, без самостоятельной сборки и подбора версий.

Что стоит учесть:

  • Память. Простая прикидка: 224 млрд параметров в FP8 — порядка 224 ГБ только на веса, в 16-битном формате вдвое больше. Активных параметров 12 млрд, но хранить в памяти нужно все. Поэтому понадобится сервер с несколькими GPU, а не одна карта.
  • Длинный контекст стоит дорого. Миллион токенов в запросе нагружает память под кеш внимания, и реальную длину придётся подбирать под ваше железо.
  • Цифр качества в анонсе нет. В исходном посте нет ни бенчмарков, ни сравнений с другими открытыми моделями, ни условий лицензии. Это нужно проверить до того, как строить на модели продукт.

Tencent также пишет, что скоро выйдет Hy4. Flash-версия выглядит как первая модель семейства, доступная для самостоятельного запуска.

Кому стоит присмотреться

Если вы разбираете длинные документы и слайды или пробуете агентов, которые смотрят на экран, Hy4 flash стоит прогнать на своих данных. Начните с FP8-версии и образа vLLM, замерьте скорость на реальных запросах и сравните качество с моделью, которая работает у вас сейчас. Пока независимых тестов нет, судить по формулировкам вроде «быстрая и эффективная» рано. Но сочетание открытых весов, мультимодальности, большого контекста и готового рецепта запуска делает релиз заметным кандидатом для экспериментов.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно вышло?

Hy4 flash создала команда Tencent Hunyuan. По описанию, это нативно мультимодальная модель: она работает не только с текстом, но и с изображениями, документами и слайдами. Заявленные сценарии — исследовательские задачи, работа с большими документами и презентациями, а также управление компьютером (computer use), когда модель смотрит на экран и действует как пользователь. На Hugging Face выложены три варианта: основная Hy4 flash, квантованная Hy4 flash-FP8 и базовая Hy4 flash-Base.

Что известно по теме: как понять «224B, но 12B»?

Это принцип mixture-of-experts. Представьте большую юридическую фирму: в штате сотни человек, но над конкретным делом работают трое. Так и здесь: у модели много «специалистов», а на каждый токен подключается небольшая часть. Качество зависит от общего объёма знаний в весах, а скорость и цена ответа — от активной части. Поэтому Hy4 flash должна работать быстрее, чем плотная модель на 224 млрд параметров. Среди архитектурных решений Tencent называет гибридное внимание, Latent MoE и Engram.

Что известно по теме: что это даёт на практике?

Главная новость для инженеров — поддержка в vLLM с нулевого дня. Есть готовый Docker-образ vllm/vllm-openai:hy4-flash и рецепт развёртывания на recipes.vllm.ai. Значит, поднять OpenAI-совместимый сервер с моделью можно теми же инструментами, что и для других открытых LLM, без самостоятельной сборки и подбора версий. Что стоит учесть: Память. Простая прикидка: 224 млрд параметров в FP8 — порядка 224 ГБ только на веса, в 16-битном формате вдвое больше. Активных параметров 12 млрд, но хранить в памяти нужно все.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…