NVIDIA déploie Nemotron 3 Nano Omni sur Amazon SageMaker JumpStart dès le jour de sa sortie

Le 28 avril 2026, NVIDIA a ajouté le modèle multimodal Nemotron 3 Nano Omni à Amazon SageMaker JumpStart dès le jour de sa sortie. Pour les équipes sur AWS, cela raccourcit le chemin entre l'annonce d'un nouveau modèle et le pilote : le service est déjà prêt pour le déploiement et l'inférence.

De quel modèle s'agit-il

Nemotron 3 Nano Omni est un LLM multimodal ouvert de 30 milliards de paramètres au total, dont 3 milliards actifs. Il repose sur une architecture hybride Mamba2 Transformer Hybrid Mixture of Experts. NVIDIA l'a assemblé à partir de trois briques : le noyau de langage Nemotron 3 Nano, l'encodeur visuel CRADIO v4-H pour les images et la vidéo, et l'encodeur vocal Parakeet pour l'audio.

En entrée, le modèle accepte vidéo, son, images et texte, et renvoie une réponse textuelle. D'après la description d'AWS, il est conçu non seulement pour le chat, mais aussi pour des scénarios agentiques. Il prend en charge un contexte jusqu'à 131 000 tokens, le raisonnement, l'appel d'outils, les réponses en JSON et les horodatages mot à mot pour la transcription.

Dans SageMaker JumpStart, le modèle est proposé en FP8, c'est-à-dire avec l'accent mis sur l'équilibre entre qualité et efficacité. Pour un usage commercial, la licence compte aussi : Nemotron 3 Nano Omni est distribué sous le NVIDIA Open Model Agreement.

Le modèle doit « voir, entendre et raisonner » sur plusieurs modalités

en une seule passe d'inférence.

À quoi sert le modèle

L'idée centrale de l'annonce est de supprimer le zoo de modèles distincts pour la vision, la parole et le texte. Dans un système agentique d'entreprise typique, chacun de ces modules ajoute de la latence, complique l'orchestration et rompt le contexte commun. AWS et NVIDIA proposent d'utiliser Nemotron 3 Nano Omni comme couche de perception unique : le modèle lit l'écran, comprend les documents, transcrit la parole et analyse la vidéo, tandis que le reste de la logique de l'agent s'appuie sur une vision cohérente.

• Agents d'utilisation d'ordinateur qui se repèrent dans les interfaces, les dashboards et le navigateur
• Document intelligence pour les contrats, SOW, documents financiers, tableaux et captures d'écran
• Analyse d'appels, de réunions et d'autres contenus audio et vidéo dans le support client
• Vérification d'événements visuels, comme des livraisons ou des commandes, lorsque l'OCR et le contexte temporel sont nécessaires

Les limites d'entrée du modèle sont assez claires et semblent déjà pratiques pour des pilotes. Vidéo : MP4 jusqu'à 2 minutes et 256 images ; audio : WAV ou MP3 jusqu'à une heure ; images : JPEG et PNG ; texte : jusqu'à 131 000 tokens. Ce n'est pas un outil universel sans limites, mais pour des assistants internes, des pipelines de revue et l'automatisation de tâches opérationnelles, la plage est largement suffisante.

Enfin, AWS revendique séparément un débit (throughput) jusqu'à 9 fois supérieur à celui des modèles omni ouverts concurrents.

Comment lancer le modèle

SageMaker JumpStart présente cette sortie comme un déploiement en un clic. Le scénario de base est simple : ouvrir SageMaker Studio, aller dans la section JumpStart, trouver Nemotron 3 Nano Omni, sélectionner la fiche du modèle et cliquer sur Deploy. Au préalable, AWS demande de vérifier trois points : disposer d'un compte, des droits d'accès à JumpStart et des quotas d'instances GPU, par exemple ml.p4d.24xlarge ou ml.p5.48xlarge. Le démarrage est donc rapide, mais il reste conditionné à la préparation de l'infrastructure de l'entreprise et au budget GPU.

Pour les équipes qui déploient les modèles par le code, il existe aussi une voie via le SageMaker Python SDK avec un model_id prêt à l'emploi. Après le déploiement, l'endpoint accepte des requêtes multimodales : on peut décrire une image, résumer l'enregistrement d'une réunion ou transcrire un appel en en extrayant les action items.

AWS recommande également deux modes d'inférence : thinking pour le raisonnement complexe, avec temperature 0.6, top_p 0.95 et max_tokens 20480, et instruct pour les tâches plus directes où la vitesse prime. Après les essais, mieux vaut supprimer l'endpoint immédiatement afin de ne pas accumuler de frais inutiles.

Ce que cela signifie

L'arrivée de Nemotron 3 Nano Omni dans JumpStart dès le jour de sa sortie montre qu'AWS accélère la livraison des modèles ouverts récents directement dans l'environnement de travail. Pour les entreprises, c'est un bon signal : les agents multimodaux passent peu à peu d'un assemblage de composants épars à une pile produit plus cohérente, que l'on peut tester sur ses propres données sans long assemblage depuis zéro.