NVIDIA apresenta Nemotron 3 Nano Omni para documentos longos, áudio, vídeo e agentes de IA

Em 28 de abril de 2026, a NVIDIA apresentou o Nemotron 3 Nano Omni, um modelo multimodal de contexto longo para documentos, áudio, vídeo e cenários de agentes em interfaces. A empresa aposta em tarefas práticas: da análise de PDFs complexos e gravações de tela ao reconhecimento de fala e ao raciocínio sobre vários tipos de dados ao mesmo tempo.

Quais tarefas ele cobre

O Nemotron 3 Nano Omni é posicionado não como um simples modelo de OCR nem como mais um VLM para imagens. A NVIDIA o descreve como um sistema universal para cinco classes de carga: análise de documentos reais, reconhecimento automático de fala, compreensão de vídeos longos com áudio, apoio em cenários de GUI e raciocínio multimodal geral.

Não se trata de exemplos curtos de demonstração, e sim de documentos com tabelas, fórmulas, referências entre páginas, slides, capturas de tela e gravações de tela com comentários em voz. Em cenários de documentos, o modelo, segundo a empresa, lida com arquivos de mais de 100 páginas e deve reter ao mesmo tempo os detalhes finos e a estrutura geral. Em áudio e vídeo, a ênfase está em materiais longos: vídeos de treinamento, reuniões com slides, demos de produto e gravações de suporte. Para tarefas de agentes, importa trabalhar com capturas de tela e o estado da interface: o modelo pode interpretar o que vê na tela e ajudar a escolher a próxima ação.

• Contratos, relatórios e documentos técnicos de várias páginas
• Gravações de tela e tutoriais com narração em voz
• Reconhecimento de fala longa com ruído, sotaques e diferentes locutores
• Análise de GUI e capturas de tela para cenários de computer-use

O que há dentro do modelo

A arquitetura é montada em torno do backbone de linguagem Nemotron 3 Nano 30B-A3B e de dois codificadores especializados: C-RADIOv4-H para dados visuais e Parakeet-TDT-0.6B para áudio. A ligação entre as modalidades e o LLM é feita por projetores leves, que reúnem tudo em uma única sequência de tokens.

Dentro do backbone, a NVIDIA usa uma abordagem híbrida: 23 camadas Mamba para contexto longo, 23 camadas MoE com 128 especialistas e routing top-6, além de 6 camadas de atenção para conexões globais e raciocínio complexo.

Há um foco especial na eficiência com dados visuais densos. Em vez do tiling usado na versão anterior, o modelo ganhou resolução dinâmica na proporção nativa: cada imagem recebe de 1024 a 13312 patches visuais. Para vídeo, são usados dois mecanismos de compressão. O Conv3D une pares de quadros vizinhos antes de enviá-los ao ViT, e o EVS, na inferência, descarta tokens estáticos e mantém apenas as mudanças dinâmicas.

No áudio, importa a adoção de entrada nativa: o modelo trabalha não só com a transcrição, mas com a própria faixa de áudio. Foi treinado com trechos de até 20 minutos, e o contexto total do LLM é declarado em mais de cinco horas.

Resultados e disponibilidade

Nos benchmarks publicados, o Nemotron 3 Nano Omni avança bastante em relação ao Nemotron Nano V2 VL e frequentemente supera o Qwen3-Omni 30B-A3B. Segundo a NVIDIA, o modelo marca 57,5 no MMLongBench-Doc contra 38,0 da versão anterior, 65,8 no OCRBenchV2-En e 63,6 no CharXiv reasoning. Em tarefas de GUI, registra 47,4 no OSWorld contra 11,0 do modelo anterior e, em vídeo multimodal, 72,2 no Video-MME, 55,4 no WorldSense e 74,1 no DailyOmni. Em áudio, são declarados 89,4 no VoiceBench e 5,95 de WER no HF Open ASR, onde menos é melhor.

Custo e velocidade são um ponto igualmente importante para desenvolvedores. A NVIDIA fala em ganho de 7,4 vezes na eficiência do sistema em cenários multidocumento e de 9,2 vezes em casos de uso de vídeo, em comparação com outros modelos multimodais abertos com interatividade comparável. A empresa também afirma uma velocidade de raciocínio single-stream até 2,9 vezes maior em tarefas multimodais.

Os checkpoints já estão no Hugging Face nos formatos BF16, FP8 e NVFP4, de modo que o modelo pode ser testado não só como lançamento de pesquisa, mas também como base para pipelines aplicados.

O que isso significa

A NVIDIA claramente não mira mais uma demo de vitrine, e sim cenários corporativos reais, em que é preciso ler documentos longos, entender voz, enxergar a interface e manter um contexto grande sem disparar o custo. Se as métricas declaradas se confirmarem em integrações reais, o Nemotron 3 Nano Omni poderá se tornar um candidato forte de pesos abertos para document AI, compreensão de vídeo e agentes de computer-use.