NVIDIA presenta Nemotron 3 Nano Omni para documentos largos, audio, vídeo y agentes de IA

El 28 de abril de 2026, NVIDIA presentó Nemotron 3 Nano Omni, un modelo multimodal de contexto largo para documentos, audio, vídeo y escenarios de agentes en interfaces. La compañía apuesta por tareas prácticas: desde el análisis de PDF complejos y grabaciones de pantalla hasta el reconocimiento de voz y el razonamiento sobre varios tipos de datos a la vez.

Qué tareas cubre

Nemotron 3 Nano Omni se posiciona no como un simple modelo de OCR ni como un VLM más para imágenes. NVIDIA lo describe como un sistema universal para cinco clases de carga: análisis de documentos reales, reconocimiento automático del habla, comprensión de vídeos largos con audio, ayuda en escenarios de GUI y razonamiento multimodal general.

No se trata de breves ejemplos de demostración, sino de documentos con tablas, fórmulas, referencias entre páginas, diapositivas, capturas de pantalla y grabaciones de pantalla con comentarios de voz. En escenarios documentales, el modelo, según la compañía, maneja archivos de más de 100 páginas y debe retener a la vez los detalles finos y la estructura general. En audio y vídeo, el énfasis está en materiales largos: vídeos formativos, reuniones con diapositivas, demos de producto y grabaciones de soporte. Para las tareas de agentes es clave trabajar con capturas de pantalla y el estado de la interfaz: el modelo puede interpretar lo que ve en pantalla y ayudar a elegir la siguiente acción.

• Contratos, informes y documentos técnicos de varias páginas
• Grabaciones de pantalla y tutoriales con narración de voz
• Reconocimiento de voz larga con ruido, acentos y distintos hablantes
• Análisis de GUI y capturas de pantalla para escenarios de computer-use

Qué hay dentro del modelo

La arquitectura se construye en torno al backbone de lenguaje Nemotron 3 Nano 30B-A3B y dos codificadores especializados: C-RADIOv4-H para datos visuales y Parakeet-TDT-0.6B para audio. La conexión entre las modalidades y el LLM se resuelve con proyectores ligeros que unifican todo en una única secuencia de tokens.

Dentro del backbone, NVIDIA emplea un enfoque híbrido: 23 capas Mamba para el contexto largo, 23 capas MoE con 128 expertos y routing top-6, y 6 capas de atención para las conexiones globales y el razonamiento complejo.

Hay un énfasis particular en la eficiencia con datos visuales densos. En lugar del tiling de la versión anterior, el modelo incorpora resolución dinámica con la relación de aspecto nativa: a cada imagen se le asignan entre 1024 y 13312 parches visuales. Para el vídeo se aplican dos mecanismos de compresión. Conv3D fusiona pares de fotogramas contiguos antes de pasarlos al ViT, y EVS, en la fase de inferencia, descarta los tokens estáticos y conserva solo los cambios dinámicos.

En audio es relevante el paso a la entrada nativa: el modelo trabaja no solo con la transcripción, sino con la propia pista de audio. Se entrenó con fragmentos de hasta 20 minutos, y el contexto total del LLM se declara en más de cinco horas.

Resultados y disponibilidad

En los benchmarks publicados, Nemotron 3 Nano Omni mejora notablemente respecto a Nemotron Nano V2 VL y a menudo supera a Qwen3-Omni 30B-A3B. Según NVIDIA, el modelo obtiene 57,5 en MMLongBench-Doc frente a 38,0 de la versión anterior, 65,8 en OCRBenchV2-En y 63,6 en CharXiv reasoning. En tareas de GUI logra 47,4 en OSWorld frente a 11,0 del modelo previo, y en vídeo multimodal alcanza 72,2 en Video-MME, 55,4 en WorldSense y 74,1 en DailyOmni. En audio se declaran 89,4 en VoiceBench y 5,95 de WER en HF Open ASR, donde menos es mejor.

Coste y velocidad son otro argumento igual de importante para los desarrolladores. NVIDIA habla de una mejora de 7,4 veces en eficiencia del sistema en escenarios multidocumento y de 9,2 veces en casos de uso de vídeo, frente a otros modelos multimodales abiertos con una interactividad comparable. La compañía también afirma una velocidad de razonamiento single-stream de hasta 2,9 veces superior en tareas multimodales.

Los checkpoints ya están publicados en Hugging Face en formatos BF16, FP8 y NVFP4, de modo que el modelo puede probarse no solo como lanzamiento de investigación, sino como base para pipelines aplicados.

Qué significa

NVIDIA apunta claramente no a una demo de escaparate más, sino a escenarios empresariales reales, donde hay que leer documentos largos, entender voz, ver la interfaz y manejar un contexto amplio sin que el coste se dispare. Si las métricas declaradas se confirman en integraciones reales, Nemotron 3 Nano Omni podría convertirse en un candidato sólido de pesos abiertos para document AI, comprensión de vídeo y agentes de computer-use.