Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarX: @vllm_project→ original

O modelo de vídeo AURA 2.0 inicia a conversa sozinho: a resposta soa em 344 ms

Um assistente de vídeo comum fica em silêncio até alguém fazer uma pergunta. Já o AURA 2.0, com 9 bilhões de parâmetros, acompanha a cena por conta própria e decide quando intervir, por exemplo para alertar sobre um fio superaquecido. O modelo tem suporte desde o primeiro dia no vLLM-Omni, motor que o executa no servidor. O primeiro trecho da resposta em áudio chega em 344 ms, pouco mais de um terço de segundo (mediana). Para assistentes com câmera, isso se aproxima de uma fala ao vivo.

Processado por IA de X: @vllm_project; editado por Hamidun News
O modelo de vídeo AURA 2.0 inicia a conversa sozinho: a resposta soa em 344 ms
Fonte: X: @vllm_project. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @vllm_project ↗
Editor-chefe
344 msmediana com uma sessão em dois aceleradores de cerca de 140 GB cada
Dado-chave #2A reutilização de sessões e o caminho rápido para o silêncio aceleram o processamento
Dado-chave #3Lidera no IPIBench, StreamArena, ProactiveVideoQA e PhoStream

Imagine um assistente com câmera que acompanha você consertando o quadro de energia e, sem ser chamado, diz: "Cuidado, o fio aqueceu". Os modelos de vídeo convencionais não fazem isso: eles esperam uma pergunta e, sem ela, ficam calados. O AURA 2.

0 é um modelo de vídeo em fluxo com 9 bilhões de parâmetros (nove bilhões de pesos ajustáveis, ou seja, um modelo de porte médio), que acompanha o que acontece e decide quando entrar na conversa. A equipe do projeto vLLM anunciou que o AURA 2.0 tem suporte no seu motor vLLM-Omni (programa que executa os modelos no servidor e atende as solicitações dos usuários) desde o lançamento, ou seja, no dia zero.

O principal número do anúncio é 344 ms: em média (mediana), é esse o tempo até o primeiro trecho da resposta em áudio. É pouco mais de um terço de segundo, portanto quase sem pausa perceptível.

O que o AURA 2.0 faz

O modelo observa a cena continuamente e sabe fazer três coisas.

A primeira é conversar por iniciativa própria. Ele decide quando falar e o que dizer, sem esperar uma pergunta. Em vez do modo tradicional de pergunta e resposta, temos um observador que entende quando a intervenção é oportuna e quando é melhor ficar em silêncio.

A segunda é chamar ferramentas levando o fluxo em conta. O modelo se apoia no que aparece no quadro e no andamento da conversa, consulta serviços externos e devolve o resultado diretamente ao diálogo. Por exemplo, se identifica no vídeo um componente com etiqueta, pode consultar os dados dele e informar o resultado em voz.

A terceira é a ancoragem visual. Ao falar sobre um objeto, o modelo o destaca com caixas sincronizadas com os quadros. O usuário não precisa adivinhar a qual "esta coisa" ele se refere.

De onde vêm os 344 ms

Um assistente de voz com vídeo tem três etapas: reconhecimento de fala, processamento de vídeo junto com a linguagem e síntese da resposta falada. Segundo a vLLM, o vLLM-Omni atende todo esse pipeline de ponta a ponta. Para que a latência não se acumule, foram aplicadas três técnicas:

  • reutilização de sessões e prefixos: a parte do fluxo já processada não é recalculada;
  • caminho rápido para turnos silenciosos: se o modelo decide não falar, não executa o ciclo completo de geração;
  • transmissão da fala por frases: a locução começa assim que a primeira frase está pronta, e não quando a resposta inteira está pronta.

O resultado divulgado pelo projeto é uma latência mediana até o primeiro pacote de áudio da resposta de 344 ms. A medição foi feita com uma sessão em dois aceleradores, cada um com cerca de 140 GB de memória. É um número expressivo para a sensação de conversa ao vivo. Mas, em carga real, com muitos fluxos simultâneos, os resultados podem ser diferentes, e o anúncio não traz dados para esse cenário.

Benchmarks e o que fazer com eles

Segundo os autores, o AURA 2.0 lidera quatro comparações agregadas: IPIBench, StreamArena, ProactiveVideoQA e PhoStream. São testes de vídeo em fluxo e de comportamento proativo, ou seja, situações em que o modelo precisa perceber sozinho o momento de falar. Ressalva: a comparação foi apresentada pelos próprios autores e pela equipe da vLLM. O post não traz números concretos, por isso vale esperar verificações independentes antes de basear decisões de produto nesses resultados.

O modelo foi desenvolvido pela equipe AURA em parceria com o CUHK MMLab e a HKUST. A página do projeto e os pesos no Hugging Face já estão publicados, então é possível baixar o modelo e executá-lo na própria infraestrutura.

A conclusão prática para desenvolvedores e gerentes de produto é esta. Se você desenvolve um assistente com câmera, por exemplo para suporte técnico em campo, treinamento, acessibilidade ou monitoramento, agora existe um modelo aberto que entende quando falar sem ser comandado. Também há uma pilha de servidor pronta que mantém a latência na casa de frações de segundo. O principal risco é evidente: um modelo proativo pode falar com frequência excessiva e irritar o usuário. Antes de ir para produção, convém testar separadamente com que frequência ele intervém e com que precisão escolhe o momento. Vale também calcular quantos aceleradores serão necessários para o número real de usuários.

História

Perguntas frequentes sobre a notícia

O que o AURA 2.0 faz?

O modelo observa a cena continuamente e sabe fazer três coisas. A primeira é conversar por iniciativa própria. Ele decide quando falar e o que dizer, sem esperar uma pergunta. Em vez do modo tradicional de pergunta e resposta, temos um observador que entende quando a intervenção é oportuna e quando é melhor ficar em silêncio. A segunda é chamar ferramentas levando o fluxo em conta.

O que se sabe sobre De onde vêm os 344 ms?

Um assistente de voz com vídeo tem três etapas: reconhecimento de fala, processamento de vídeo junto com a linguagem e síntese da resposta falada. Segundo a vLLM, o vLLM-Omni atende todo esse pipeline de ponta a ponta. Para que a latência não se acumule, foram aplicadas três técnicas: reutilização de sessões e prefixos: a parte do fluxo já processada não é recalculada; caminho rápido para turnos silenciosos: se o modelo decide não falar, não executa o ciclo completo de geração; transmissão da…

O que se sabe sobre Benchmarks e o que fazer com eles?

Segundo os autores, o AURA 2.0 lidera quatro comparações agregadas: IPIBench, StreamArena, ProactiveVideoQA e PhoStream. São testes de vídeo em fluxo e de comportamento proativo, ou seja, situações em que o modelo precisa perceber sozinho o momento de falar. Ressalva: a comparação foi apresentada pelos próprios autores e pela equipe da vLLM. O post não traz números concretos, por isso vale esperar verificações independentes antes de basear decisões de produto nesses resultados.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…