Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизAPI / Продукт · В работуX: @vllm_project→ оригинал

Видеомодель AURA 2.0 сама вступает в разговор: ответ звучит через 344 мс

Обычный видеоассистент молчит, пока его не спросят, а AURA 2.0 на 9 млрд параметров сама следит за кадром и решает, когда заговорить, например предупредить о перегретом проводе. Модель с первого дня поддерживает vLLM-Omni — движок, который запускает её на сервере. Первый кусочек звукового ответа приходит за 344 мс, это чуть больше трети секунды (медиана). Для помощников с камерой это близко к живой речи.

AI-обработка оригинала X: @vllm_project; редакция Hamidun News
Видеомодель AURA 2.0 сама вступает в разговор: ответ звучит через 344 мс
Источник: X: @vllm_project. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @vllm_project ↗
Главный редактор
Ключевой факт #1344 мс — медиана при одной сессии на двух ускорителях по ~140 ГБ
Ключевой факт #2Ускоряют повторное использование сессий и быстрый путь для молчания
Ключевой факт #3Лидирует в IPIBench, StreamArena, ProactiveVideoQA и PhoStream

Представьте помощника с камерой, который смотрит, как вы чините щиток, и сам говорит: «Осторожно, провод перегрелся». Обычные видеомодели так не умеют: они ждут вопроса и без него молчат. AURA 2.0 — потоковая видеомодель на 9 млрд параметров (девять миллиардов настраиваемых весов, это модель среднего размера), которая сама следит за происходящим и решает, когда вступить в разговор. Команда проекта vLLM объявила, что в её движке vLLM-Omni (это программа, которая запускает модели на сервере и обслуживает запросы пользователей) AURA 2.0 поддерживается с нулевого дня, то есть сразу в момент выхода. Главная цифра анонса — 344 мс: столько в среднем (медиана) проходит до первого кусочка звукового ответа. Это чуть больше трети секунды, то есть почти без заметной паузы.

Что умеет AURA 2.0

Модель непрерывно смотрит на сцену и умеет три вещи.

Первая — разговор по собственной инициативе. Она сама решает, когда сказать что-то и что именно, не дожидаясь вопроса. Вместо привычного режима «вопрос — ответ» получается наблюдатель, который понимает, когда вмешательство уместно, а когда лучше промолчать.

Вторая — вызов инструментов с учётом потока. Модель опирается на то, что сейчас видно в кадре, и на ход беседы, обращается к внешним сервисам и возвращает результат прямо в диалог. Например, увидела на видео деталь с маркировкой, запросила данные по ней и озвучила итог.

Третья — визуальная привязка. Когда модель говорит о предмете, она показывает на него рамками, синхронизированными с кадрами. Пользователю не нужно гадать, какую именно «вот эту штуку» она имеет в виду.

Откуда берутся 344 мс

Голосовой ассистент с видео состоит из трёх звеньев: распознавание речи, обработка видео вместе с языком и синтез ответной речи. По словам vLLM, vLLM-Omni обслуживает весь этот конвейер целиком. Чтобы задержка не накапливалась, применены три приёма:

  • повторное использование сессий и префиксов: уже обработанную часть потока не считают заново;
  • быстрый путь для «тихих» ходов: если модель решила ничего не говорить, она не запускает полный цикл генерации;
  • передача речи по предложениям: озвучка начинается, как только готово первое предложение, а не весь ответ.

Результат, который называет проект: медианная задержка до первого аудиопакета ответа — 344 мс. Замер сделан в конфигурации с одной сессией на двух ускорителях, у каждого около 140 ГБ памяти. Это серьёзная цифра для ощущения живого разговора. Но в реальной нагрузке, когда одновременно работает много потоков, результаты могут отличаться, а данных для такого сценария в анонсе нет.

Бенчмарки и что с этим делать

По заявлению авторов, AURA 2.0 лидирует в четырёх сводных сравнениях: IPIBench, StreamArena, ProactiveVideoQA и PhoStream. Это тесты для потокового видео и проактивного поведения, то есть для ситуаций, где модель должна сама понять момент для реплики. Оговорка: сравнение приведено самими авторами и командой vLLM. Конкретных чисел в посте нет, поэтому независимых проверок стоит дождаться, прежде чем строить на этих результатах продуктовые решения.

Над моделью работала команда AURA вместе с CUHK MMLab и HKUST. Страница проекта и веса на Hugging Face опубликованы, так что модель можно скачать и запустить на собственной инфраструктуре.

Практический вывод для разработчиков и продактов такой. Если вы делаете ассистента с камерой, например для техподдержки на объекте, обучения, доступности или мониторинга, теперь есть открытая модель, которая понимает, когда говорить без команды. Есть и готовый серверный стек, который держит задержку в пределах долей секунды. Главный риск очевиден: проактивная модель может говорить слишком часто и раздражать. До выхода в продакшн стоит отдельно проверить, как часто она вмешивается и насколько точно выбирает момент. Заодно стоит посчитать, сколько ускорителей потребуется под реальное число пользователей.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что умеет AURA 2.0?

Модель непрерывно смотрит на сцену и умеет три вещи. Первая — разговор по собственной инициативе. Она сама решает, когда сказать что-то и что именно, не дожидаясь вопроса. Вместо привычного режима «вопрос — ответ» получается наблюдатель, который понимает, когда вмешательство уместно, а когда лучше промолчать. Вторая — вызов инструментов с учётом потока. Модель опирается на то, что сейчас видно в кадре, и на ход беседы, обращается к внешним сервисам и возвращает результат прямо в диалог.

Что известно по теме: откуда берутся 344 мс?

Голосовой ассистент с видео состоит из трёх звеньев: распознавание речи, обработка видео вместе с языком и синтез ответной речи. По словам vLLM, vLLM-Omni обслуживает весь этот конвейер целиком. Чтобы задержка не накапливалась, применены три приёма: повторное использование сессий и префиксов: уже обработанную часть потока не считают заново; быстрый путь для «тихих» ходов: если модель решила ничего не говорить, она не запускает полный цикл генерации; передача речи по предложениям: озвучка…

Что известно по теме: бенчмарки и что с этим делать?

По заявлению авторов, AURA 2.0 лидирует в четырёх сводных сравнениях: IPIBench, StreamArena, ProactiveVideoQA и PhoStream. Это тесты для потокового видео и проактивного поведения, то есть для ситуаций, где модель должна сама понять момент для реплики. Оговорка: сравнение приведено самими авторами и командой vLLM. Конкретных чисел в посте нет, поэтому независимых проверок стоит дождаться, прежде чем строить на этих результатах продуктовые решения. Над моделью работала команда AURA вместе с CUHK MMLab и HKUST.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…