Nvidia lança o Nemotron 3 Nano Omni, modelo multimodal aberto para agentes na borda

Em 28 de abril de 2026, a Nvidia apresentou o Nemotron 3 Nano Omni, modelo multimodal aberto voltado a agentes de IA autônomos em dispositivos de borda. Não é apenas mais um lançamento para o ecossistema CUDA: a empresa mostra que quer lucrar não só com hardware, mas também com os próprios modelos.

O que o modelo faz

O Nemotron 3 Nano Omni reúne em uma única arquitetura a compreensão de texto, imagens, áudio e vídeo. O modelo também trabalha com documentos, diagramas e interfaces gráficas, e entrega a resposta em texto. Na prática, a Nvidia não oferece um conjunto de modelos separados para visão, fala e documentos, mas um motor único para tarefas em que o agente precisa ver a tela, ler um arquivo, ouvir um comando de voz e reagir sem atrasos desnecessários entre serviços.

A ideia central é que o modelo é grande no total, mas relativamente leve na operação. O Nemotron 3 Nano Omni tem 30 bilhões de parâmetros, mas a cada passo de inferência só 3 bilhões são ativados, graças à arquitetura de mistura de especialistas (mixture-of-experts). A Nvidia afirma que essa abordagem entrega até nove vezes mais vazão (throughput) que modelos multimodais abertos comparáveis, e que o modelo lidera seis benchmarks de documentos, vídeo e áudio. A parte textual base foi treinada com 25 trilhões de tokens e suporta janela de contexto de até 256 mil tokens.

Por dentro, o modelo usa um esquema híbrido Mamba-Transformer. Segundo a Nvidia, ele combina 23 camadas Mamba-2, 23 camadas mixture-of-experts e seis camadas de grouped-query attention. Cada token é direcionado a apenas seis dos 128 especialistas, mais um especialista compartilhado, de modo que o custo computacional não explode. Para vídeo, são usadas convoluções tridimensionais que levam em conta o movimento entre quadros, em vez de tratar o clipe como um conjunto de imagens estáticas. É essa engenharia que deve tornar o modelo adequado para agentes em tempo real em uma única GPU.

• 30 bilhões de parâmetros no total, 3 bilhões ativos na inferência
• pode rodar em uma única GPU, sem cluster de servidores
• uso comercial permitido pelo Nvidia Open Model Agreement
• modelo disponível no Hugging Face e via Nvidia NIM
• as entradas incluem texto, imagens, áudio, vídeo, documentos e interfaces gráficas

Por que a Nvidia faz isso

Nos últimos dois anos, a Nvidia ganhou principalmente como fornecedora de infraestrutura: GPUs, redes, CUDA e todo o software ao redor. Mas a família Nemotron já virou uma frente separada, e agora a empresa faz uma jogada mais dura: promove seu próprio modelo como base pronta para agentes de IA industriais.

A lógica é simples: se o modelo é otimizado para o hardware da Nvidia e o hardware para o modelo da Nvidia, a empresa passa a controlar quase toda a pilha, como Google, Amazon ou Microsoft em seus ecossistemas de nuvem. Por isso o lançamento não é vendido como demonstração de capacidade de laboratório, mas como produto para implantação.

Entre os primeiros usuários e parceiros, a Nvidia cita Foxconn, Palantir, Aible, ASI, Eka Care e H Company; Dell, DocuSign, Infosys, Oracle e Zefr avaliam o modelo para produção. Os cenários também não são de consumo: inspeção visual em fábricas, processamento de documentos, agentes de voz e compreensão de tela para sistemas de computer-use. O modelo pode ser implantado via Amazon SageMaker JumpStart, OpenRouter, vLLM, SGLang, Ollama, llama.cpp e TensorRT-LLM, ou seja, a Nvidia quer disponibilizá-lo em qualquer pilha familiar.

Frente aos concorrentes, a aposta parece bastante precisa. O Google tem os Gemini multimodais e a versão on-device Gemini Nano, a Meta* tem a forte linha Llama, e a OpenAI continua sendo a referência comercial com os modelos GPT. Mas a Nvidia tenta reunir uma combinação rara de quatro propriedades ao mesmo tempo: multimodalidade, pesos abertos, licença comercial e operação em hardware de borda sem escala de nuvem. Se funcionar, a empresa poderá capturar valor em três camadas ao mesmo tempo: hardware, ferramentas de inferência e o próprio modelo.

O que isso significa

O Nemotron 3 Nano Omni é uma aposta de que a próxima onda de agentes de IA funcionará não só na nuvem, mas também localmente, perto de dados, câmeras, microfones e interfaces corporativas. Se a Nvidia confirmar os números declarados em implantações reais, deixará de ser apenas fornecedora de «pás» para o boom da IA e se tornará uma das jogadoras mais fortes no mercado dos próprios modelos.

*Meta foi reconhecida como organização extremista e é proibida na Rússia.