NVIDIA dévoile Nemotron 3 Nano Omni pour les longs documents, l'audio, la vidéo et les agents IA

Le 28 avril 2026, NVIDIA a présenté Nemotron 3 Nano Omni, un modèle multimodal à long contexte pour les documents, l'audio, la vidéo et les scénarios d'agents dans les interfaces. L'entreprise mise sur des tâches concrètes : de l'analyse de PDF complexes et d'enregistrements d'écran à la reconnaissance vocale et au raisonnement sur plusieurs types de données à la fois.

Quelles tâches couvre-t-il ?

Nemotron 3 Nano Omni n'est pas présenté comme un simple modèle d'OCR ni comme un VLM de plus pour les images. NVIDIA le décrit comme un système universel pour cinq classes de charges : analyse de documents réels, reconnaissance automatique de la parole, compréhension de longues vidéos avec audio, assistance dans les scénarios GUI et raisonnement multimodal général.

Il ne s'agit pas de courtes démonstrations, mais de documents comportant des tableaux, des formules, des renvois entre pages, des diapositives, des captures d'écran et des enregistrements d'écran avec commentaires vocaux. Dans le cas des documents, le modèle, selon l'entreprise, gère des fichiers de plus de 100 pages et doit conserver à la fois les détails fins et la structure d'ensemble. En audio et en vidéo, l'accent est mis sur les contenus longs : vidéos de formation, réunions avec diapositives, démos produit et enregistrements de support. Pour les tâches d'agents, le travail sur les captures d'écran et l'état de l'interface compte : le modèle peut interpréter ce qu'il voit à l'écran et aider à choisir l'action suivante.

• Contrats, rapports et documents techniques de plusieurs pages
• Enregistrements d'écran et tutoriels avec commentaires vocaux
• Reconnaissance de longues séquences de parole avec bruit, accents et plusieurs locuteurs
• Analyse de GUI et de captures d'écran pour les scénarios de computer-use

Ce qu'il y a dans le modèle

L'architecture repose sur le backbone linguistique Nemotron 3 Nano 30B-A3B et deux encodeurs spécialisés : C-RADIOv4-H pour les données visuelles et Parakeet-TDT-0.6B pour l'audio. Le lien entre les modalités et le LLM passe par des projecteurs légers qui ramènent le tout à une séquence unique de tokens.

Dans le backbone, NVIDIA adopte une approche hybride : 23 couches Mamba pour le long contexte, 23 couches MoE avec 128 experts et routage top-6, ainsi que 6 couches d'attention pour les liens globaux et le raisonnement complexe.

L'efficacité sur les données visuelles denses fait l'objet d'une attention particulière. À la place du tiling utilisé dans la version précédente, le modèle adopte une résolution dynamique au rapport d'aspect natif : de 1024 à 13312 patchs visuels sont alloués à chaque image. Pour la vidéo, deux mécanismes de compression sont employés. Conv3D fusionne des paires d'images voisines avant leur passage dans le ViT, tandis qu'EVS, à l'inférence, écarte les tokens statiques et ne garde que les changements dynamiques.

Pour l'audio, le passage à une entrée native compte : le modèle ne travaille pas uniquement avec une transcription, mais avec la piste audio elle-même. Il a été entraîné sur des segments allant jusqu'à 20 minutes, et le contexte global du LLM est annoncé à plus de cinq heures.

Résultats et disponibilité

Dans les benchmarks publiés, Nemotron 3 Nano Omni progresse nettement par rapport à Nemotron Nano V2 VL et dépasse souvent Qwen3-Omni 30B-A3B. Selon NVIDIA, le modèle obtient 57,5 sur MMLongBench-Doc contre 38,0 pour la version précédente, 65,8 sur OCRBenchV2-En et 63,6 sur CharXiv reasoning. Sur les tâches GUI, il atteint 47,4 sur OSWorld contre 11,0 pour l'ancien modèle et, en vidéo multimodale, 72,2 sur Video-MME, 55,4 sur WorldSense et 74,1 sur DailyOmni. Pour l'audio, l'entreprise annonce 89,4 sur VoiceBench et un WER de 5,95 sur HF Open ASR, où plus bas signifie meilleur.

Le coût et la vitesse constituent un argument tout aussi important pour les développeurs. NVIDIA évoque un gain d'efficacité système de 7,4 fois dans les scénarios multidocuments et de 9,2 fois dans les cas d'usage vidéo, par rapport à d'autres modèles multimodaux ouverts à interactivité comparable. L'entreprise affirme aussi une vitesse de raisonnement single-stream jusqu'à 2,9 fois supérieure dans les tâches multimodales.

Les checkpoints sont déjà disponibles sur Hugging Face aux formats BF16, FP8 et NVFP4 : le modèle peut donc être testé non seulement comme une publication de recherche, mais aussi comme base de pipelines applicatifs.

Ce que cela signifie

NVIDIA ne vise manifestement pas une énième démo vitrine, mais des scénarios d'entreprise concrets, où il faut à la fois lire de longs documents, comprendre la voix, voir l'interface et tenir un large contexte sans explosion des coûts. Si les métriques annoncées se confirment dans des intégrations réelles, Nemotron 3 Nano Omni pourrait devenir un solide candidat à poids ouverts pour le document AI, la compréhension vidéo et les agents de computer-use.