Видеомодель AURA 2.0 сама вступает в разговор: ответ звучит через 344 мс
Обычный видеоассистент молчит, пока его не спросят, а AURA 2.0 на 9 млрд параметров сама следит за кадром и решает, когда заговорить, например предупредить о перегретом проводе. Модель с первого дня поддерживает vLLM-Omni — движок, который запускает её на сервере. Первый кусочек звукового ответа приходит за 344 мс, это чуть больше трети секунды (медиана). Для помощников с камерой это близко к живой речи.
AI-обработка оригинала X: @vllm_project; редакция Hamidun News
Представьте помощника с камерой, который смотрит, как вы чините щиток, и сам говорит: «Осторожно, провод перегрелся». Обычные видеомодели так не умеют: они ждут вопроса и без него молчат. AURA 2.0 — потоковая видеомодель на 9 млрд параметров (девять миллиардов настраиваемых весов, это модель среднего размера), которая сама следит за происходящим и решает, когда вступить в разговор. Команда проекта vLLM объявила, что в её движке vLLM-Omni (это программа, которая запускает модели на сервере и обслуживает запросы пользователей) AURA 2.0 поддерживается с нулевого дня, то есть сразу в момент выхода. Главная цифра анонса — 344 мс: столько в среднем (медиана) проходит до первого кусочка звукового ответа. Это чуть больше трети секунды, то есть почти без заметной паузы.
Что умеет AURA 2.0
Модель непрерывно смотрит на сцену и умеет три вещи.
Первая — разговор по собственной инициативе. Она сама решает, когда сказать что-то и что именно, не дожидаясь вопроса. Вместо привычного режима «вопрос — ответ» получается наблюдатель, который понимает, когда вмешательство уместно, а когда лучше промолчать.
Вторая — вызов инструментов с учётом потока. Модель опирается на то, что сейчас видно в кадре, и на ход беседы, обращается к внешним сервисам и возвращает результат прямо в диалог. Например, увидела на видео деталь с маркировкой, запросила данные по ней и озвучила итог.
Третья — визуальная привязка. Когда модель говорит о предмете, она показывает на него рамками, синхронизированными с кадрами. Пользователю не нужно гадать, какую именно «вот эту штуку» она имеет в виду.
Откуда берутся 344 мс
Голосовой ассистент с видео состоит из трёх звеньев: распознавание речи, обработка видео вместе с языком и синтез ответной речи. По словам vLLM, vLLM-Omni обслуживает весь этот конвейер целиком. Чтобы задержка не накапливалась, применены три приёма:
- повторное использование сессий и префиксов: уже обработанную часть потока не считают заново;
- быстрый путь для «тихих» ходов: если модель решила ничего не говорить, она не запускает полный цикл генерации;
- передача речи по предложениям: озвучка начинается, как только готово первое предложение, а не весь ответ.
Результат, который называет проект: медианная задержка до первого аудиопакета ответа — 344 мс. Замер сделан в конфигурации с одной сессией на двух ускорителях, у каждого около 140 ГБ памяти. Это серьёзная цифра для ощущения живого разговора. Но в реальной нагрузке, когда одновременно работает много потоков, результаты могут отличаться, а данных для такого сценария в анонсе нет.
Бенчмарки и что с этим делать
По заявлению авторов, AURA 2.0 лидирует в четырёх сводных сравнениях: IPIBench, StreamArena, ProactiveVideoQA и PhoStream. Это тесты для потокового видео и проактивного поведения, то есть для ситуаций, где модель должна сама понять момент для реплики. Оговорка: сравнение приведено самими авторами и командой vLLM. Конкретных чисел в посте нет, поэтому независимых проверок стоит дождаться, прежде чем строить на этих результатах продуктовые решения.
Над моделью работала команда AURA вместе с CUHK MMLab и HKUST. Страница проекта и веса на Hugging Face опубликованы, так что модель можно скачать и запустить на собственной инфраструктуре.
Практический вывод для разработчиков и продактов такой. Если вы делаете ассистента с камерой, например для техподдержки на объекте, обучения, доступности или мониторинга, теперь есть открытая модель, которая понимает, когда говорить без команды. Есть и готовый серверный стек, который держит задержку в пределах долей секунды. Главный риск очевиден: проактивная модель может говорить слишком часто и раздражать. До выхода в продакшн стоит отдельно проверить, как часто она вмешивается и насколько точно выбирает момент. Заодно стоит посчитать, сколько ускорителей потребуется под реальное число пользователей.
- 21 нояб. 2026 г.Восемь open-source инструментов для ИИ-агентов: Browser Use лидирует со 121 тысячей звёзд
- 21 нояб. 2026 г.Thinking Machines выпустила открытую Inkling 2 Mini на 26,4 млрд параметров для Mac с 32 ГБ
- 21 нояб. 2026 г.Anthropic провела рекордное IPO на $81,3 млрд, но контроль остался у основателей
- 21 нояб. 2026 г.ONNX Runtime пропал с GitHub: Microsoft скрыла репозитории после взлома пакета
Вопросы и ответы по материалу
Что известно по теме: что умеет AURA 2.0?
Модель непрерывно смотрит на сцену и умеет три вещи. Первая — разговор по собственной инициативе. Она сама решает, когда сказать что-то и что именно, не дожидаясь вопроса. Вместо привычного режима «вопрос — ответ» получается наблюдатель, который понимает, когда вмешательство уместно, а когда лучше промолчать. Вторая — вызов инструментов с учётом потока. Модель опирается на то, что сейчас видно в кадре, и на ход беседы, обращается к внешним сервисам и возвращает результат прямо в диалог.
Что известно по теме: откуда берутся 344 мс?
Голосовой ассистент с видео состоит из трёх звеньев: распознавание речи, обработка видео вместе с языком и синтез ответной речи. По словам vLLM, vLLM-Omni обслуживает весь этот конвейер целиком. Чтобы задержка не накапливалась, применены три приёма: повторное использование сессий и префиксов: уже обработанную часть потока не считают заново; быстрый путь для «тихих» ходов: если модель решила ничего не говорить, она не запускает полный цикл генерации; передача речи по предложениям: озвучка…
Что известно по теме: бенчмарки и что с этим делать?
По заявлению авторов, AURA 2.0 лидирует в четырёх сводных сравнениях: IPIBench, StreamArena, ProactiveVideoQA и PhoStream. Это тесты для потокового видео и проактивного поведения, то есть для ситуаций, где модель должна сама понять момент для реплики. Оговорка: сравнение приведено самими авторами и командой vLLM. Конкретных чисел в посте нет, поэтому независимых проверок стоит дождаться, прежде чем строить на этих результатах продуктовые решения. Над моделью работала команда AURA вместе с CUHK MMLab и HKUST.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.