Nvidia lance Nemotron 3 Nano Omni, un modèle multimodal ouvert pour les agents en edge

Le 28 avril 2026, Nvidia a dévoilé Nemotron 3 Nano Omni, un modèle multimodal ouvert conçu pour des agents IA autonomes sur des appareils en périphérie. Ce n'est pas simplement une nouvelle sortie pour l'écosystème CUDA : l'entreprise montre qu'elle veut gagner de l'argent non seulement avec le matériel, mais aussi avec les modèles eux-mêmes.

Ce que sait faire le modèle

Nemotron 3 Nano Omni réunit dans une seule architecture la compréhension du texte, des images, de l'audio et de la vidéo. Le modèle travaille aussi avec des documents, des diagrammes et des interfaces graphiques, et produit une réponse textuelle. Concrètement, Nvidia ne propose pas un assemblage de modèles distincts pour la vision, la parole et les documents, mais un moteur unique pour les tâches où l'agent doit voir un écran, lire un fichier, écouter une commande vocale et réagir sans latence superflue entre les services.

L'idée centrale : le modèle est gros par sa taille totale, mais relativement léger à l'usage. Nemotron 3 Nano Omni compte 30 milliards de paramètres, mais seuls 3 milliards sont activés à chaque étape d'inférence grâce à l'architecture mixture-of-experts. Nvidia affirme que cette approche offre jusqu'à neuf fois plus de débit que des modèles multimodaux ouverts comparables, et que le modèle domine six benchmarks de documents, de vidéo et d'audio. La partie textuelle de base a été entraînée sur 25 000 milliards de tokens et prend en charge une fenêtre de contexte allant jusqu'à 256 000 tokens.

En interne, le modèle adopte une architecture hybride Mamba-Transformer. D'après Nvidia, elle combine 23 couches Mamba-2, 23 couches mixture-of-experts et six couches de grouped-query attention. Chaque token n'est dirigé que vers six des 128 experts, plus un expert partagé, si bien que le calcul ne gonfle pas. Pour la vidéo, le modèle utilise des convolutions tridimensionnelles qui tiennent compte du mouvement entre les images, au lieu de traiter la séquence comme un ensemble d'images fixes. C'est cette ingénierie qui doit rendre le modèle adapté aux agents temps réel sur un seul GPU.

• 30 milliards de paramètres au total, 3 milliards actifs à l'inférence
• exécution possible sur un seul GPU, sans cluster de serveurs
• usage commercial autorisé par le Nvidia Open Model Agreement
• modèle disponible sur Hugging Face et via Nvidia NIM
• les entrées incluent texte, images, audio, vidéo, documents et interfaces graphiques

Pourquoi Nvidia fait cela

Ces deux dernières années, Nvidia a surtout gagné comme fournisseur d'infrastructure : GPU, réseaux, CUDA et tout le logiciel autour. Mais la famille Nemotron est déjà devenue une activité à part, et l'entreprise durcit maintenant sa stratégie : elle promeut son propre modèle comme base prête à l'emploi pour des agents IA industriels.

La logique est simple : si le modèle est optimisé pour le matériel Nvidia et le matériel pour le modèle Nvidia, l'entreprise contrôle presque toute la pile, comme Google, Amazon ou Microsoft dans leurs écosystèmes cloud. C'est pourquoi la sortie est présentée non comme une démonstration de laboratoire, mais comme un produit à déployer.

Parmi les premiers utilisateurs et partenaires, Nvidia cite Foxconn, Palantir, Aible, ASI, Eka Care et H Company ; Dell, DocuSign, Infosys, Oracle et Zefr évaluent le modèle pour la production. Les scénarios ne sont pas grand public non plus : contrôle visuel en usine, traitement de documents, agents vocaux et compréhension d'écran pour les systèmes de computer-use. Le modèle peut être déployé via Amazon SageMaker JumpStart, OpenRouter, vLLM, SGLang, Ollama, llama.cpp et TensorRT-LLM, autrement dit Nvidia veut le rendre disponible dans n'importe quelle pile habituelle.

Face à la concurrence, le pari paraît plutôt bien ciblé. Google dispose des Gemini multimodaux et de la version on-device Gemini Nano, Meta* d'une solide gamme Llama, et OpenAI reste la référence commerciale avec ses modèles GPT. Mais Nvidia tente de réunir une combinaison rare de quatre propriétés à la fois : multimodalité, poids ouverts, licence commerciale et fonctionnement sur du matériel edge sans échelle cloud. Si cela fonctionne, l'entreprise pourra capter de la valeur à trois niveaux à la fois : le matériel, les outils d'inférence et le modèle lui-même.

Ce que cela signifie

Nemotron 3 Nano Omni est un pari : la prochaine vague d'agents IA tournera non seulement dans le cloud, mais aussi en local, au plus près des données, des caméras, des micros et des interfaces d'entreprise. Si Nvidia confirme les chiffres annoncés dans des déploiements réels, elle ne sera plus seulement un fournisseur de « pelles » pour le boom de l'IA, mais l'un des acteurs les plus forts du marché des modèles eux-mêmes.

*Meta a été reconnue organisation extrémiste et est interdite en Russie.