Nemotron 3.5 Super VL no SageMaker: modelo de 120B para documentos e agentes de GUI em 10 minutos

Se você está criando um agente que precisa ir além da conversa — analisar uma captura de tela, ler uma fatura ou interpretar um gráfico —, normalmente acaba montando um conjunto de peças: um sistema de OCR separado, um modelo de linguagem separado e código para conectar os dois. A NVIDIA e a AWS propõem outro caminho. O Nemotron 3.5 Super VL agora está disponível no SageMaker JumpStart e pode ser implantado com alguns cliques no Studio ou poucas linhas de Python.

O que há por dentro

Este é um modelo multimodal: recebe imagens, vídeos e texto como entrada e produz texto. São 120 bilhões de parâmetros no total, mas a arquitetura Mixture-of-Experts ativa apenas 12 bilhões por token. A parte de linguagem é híbrida: camadas Mamba-2 se alternam com camadas MoE, além de oito camadas de atenção. Um codificador C-RADIO cuida da visão. A janela de contexto anunciada chega a 1 milhão de tokens, mas voltaremos a esse número.

O modelo pode chamar ferramentas e gerar JSON de acordo com um esquema definido. O raciocínio pode ser ativado ou desativado a cada requisição pelo parâmetro enable_thinking. Para extrair campos de uma fatura, é melhor desativá-lo: fica mais rápido e barato. Para perguntas complexas sobre um gráfico, vale a pena mantê-lo ativado.

O JumpStart oferece duas versões. A NVFP4 ocupa cerca de 75 GB e foi projetada para inferência rápida; a BF16 ocupa cerca de 249 GB e atende a quem pretende fazer ajuste fino, destilação ou sua própria quantização do modelo.

Hardware, velocidade e qualidade

A versão NVFP4 roda por padrão em ml.g7.24xlarge: quatro GPUs RTX PRO 4500 Blackwell com 128 GB de memória. A BF16 exige ml.p5en.48xlarge com oito H200. Nas medições da AWS, com 250 tokens de entrada, 1500 de saída e cinco fluxos simultâneos, os resultados são os seguintes:

• g7.24xlarge, NVFP4: cerca de 63 tokens/s por requisição, 0,45 s até o primeiro token;
• g7.48xlarge, NVFP4: cerca de 64 tokens/s, 0,51 s;
• p5en.48xlarge, BF16: cerca de 141 tokens/s, 0,53 s.

Esses números não permitem uma comparação justa entre NVFP4 e BF16, pois o hardware é diferente. Em qualidade, porém, a versão quantizada perde muito pouco. Ambas marcam 62,82 no MMLongBench-Doc; a NVFP4 fica ligeiramente atrás no CharXiv (79,88 contra 80,82) e até um pouco à frente no OSWorld-Verified, um teste de operação de computadores (52,30 contra 51,14). Essas métricas vêm das fichas de modelo da NVIDIA, portanto devem ser tratadas como resultados declarados, sem verificação independente.

Limitações que você deve conhecer antes da implantação

Primeira: você não terá um milhão de tokens de contexto no JumpStart. As configurações de serviço comportam de 520 a 15.600 tokens. Uma página de 1536×1024 consome cerca de 1536 tokens, então um documento longo com várias páginas não caberá em uma única requisição.

Segunda: cada requisição aceita uma imagem e um vídeo. O modelo não processa PDFs diretamente; antes, é preciso converter cada página em uma imagem. Os arquivos de mídia só podem ser enviados inline em base64, porque o endpoint opera com isolamento de rede e não pode acessar links.

Terceira: prompts longos deixam a resposta mais lenta. Com 10.000 tokens de entrada, o tempo até o primeiro token em g7.24xlarge é de 12,6 segundos. É muito para um chat interativo, mas tolerável para processamento de documentos em lote.

Quarta: o checkpoint inclui uma cabeça MTP para decodificação especulativa, mas ela não está ativada na configuração do JumpStart. O endpoint não carrega adaptadores LoRA; apenas os pesos base são servidos. As cotas de instâncias g7 começam em zero nas contas novas, por isso é preciso solicitar um aumento com antecedência. Você precisará do SageMaker Python SDK v3, versão 3.25 ou superior, e deverá informar explicitamente o tipo de instância em Compute; caso contrário, a compilação falhará ao usar a ml.m5.large padrão.

Como usar na prática

Se você processa um fluxo de faturas, contratos ou relatórios e quer manter os dados dentro da AWS, esta é uma forma rápida de validar uma hipótese: implantar a NVFP4 em g7.24xlarge, renderizar as páginas em PNG e pedir JSON. Para agentes de GUI, um resultado de cerca de 52% no OSWorld indica que o modelo serve para experimentos, mas não para automação sem supervisão. A licença é OpenMDW 1.1; leia seus termos na ficha do modelo antes da implantação. Quem cuida do produto também deve calcular antecipadamente o custo do endpoint ocioso: um modelo de 120B em quatro GPUs custa dinheiro mesmo quando ninguém envia requisições.