Nemotron 3.5 Super VL en SageMaker: un modelo de 120B para documentos y agentes de GUI en 10 minutos

Si estás creando un agente que, además de conversar, debe examinar una captura de pantalla, leer una factura o interpretar un gráfico, lo habitual es acabar montando un conjunto de piezas: un sistema de OCR por un lado, un modelo de lenguaje por otro y código para conectarlos. NVIDIA y AWS proponen otra vía. Nemotron 3.5 Super VL ya está disponible en SageMaker JumpStart y se puede desplegar con unos pocos clics en Studio o unas líneas de Python.

Qué lleva dentro

Es un modelo multimodal: recibe imágenes, vídeo y texto, y genera texto. Tiene 120.000 millones de parámetros en total, pero su arquitectura Mixture-of-Experts solo activa 12.000 millones por token. La parte de lenguaje es híbrida: alterna capas Mamba-2 con capas MoE e incorpora ocho capas de atención. Un codificador C-RADIO se encarga de la visión. La ventana de contexto anunciada llega hasta 1 millón de tokens, aunque volveremos sobre esa cifra.

El modelo puede invocar herramientas y generar JSON conforme a un esquema definido. El razonamiento se activa o desactiva en cada solicitud mediante el parámetro enable_thinking. Para extraer campos de una factura, conviene desactivarlo: resulta más rápido y barato. Para preguntas complejas sobre un gráfico, merece la pena mantenerlo activado.

JumpStart ofrece dos versiones. NVFP4 ocupa unos 75 GB y está pensada para inferencia rápida; BF16 ocupa unos 249 GB y está dirigida a quienes quieran ajustar el modelo, destilarlo o aplicar su propia cuantización.

Hardware, velocidad y calidad

La versión NVFP4 se ejecuta por defecto en ml.g7.24xlarge: cuatro GPU RTX PRO 4500 Blackwell con 128 GB de memoria. BF16 requiere ml.p5en.48xlarge con ocho H200. Según las mediciones de AWS, con 250 tokens de entrada, 1500 de salida y cinco flujos simultáneos, los resultados son los siguientes:

• g7.24xlarge, NVFP4: unos 63 tokens/s por solicitud, 0,45 s hasta el primer token;
• g7.48xlarge, NVFP4: unos 64 tokens/s, 0,51 s;
• p5en.48xlarge, BF16: unos 141 tokens/s, 0,53 s.

Estas cifras no permiten comparar de forma justa NVFP4 y BF16, porque el hardware es distinto. En calidad, sin embargo, la versión cuantizada apenas pierde terreno. Ambas obtienen 62,82 en MMLongBench-Doc; NVFP4 queda ligeramente por debajo en CharXiv (79,88 frente a 80,82) e incluso algo por encima en OSWorld-Verified, una prueba de manejo del ordenador (52,30 frente a 51,14). Estas métricas proceden de las fichas de NVIDIA, así que deben tratarse como resultados declarados, no verificados de forma independiente.

Limitaciones que conviene conocer antes del despliegue

Primera: en JumpStart no tendrás un millón de tokens de contexto. Las configuraciones de servicio admiten entre 520 y 15.600 tokens. Una página de 1536×1024 consume unos 1536 tokens, por lo que un documento largo de varias páginas no cabrá en una sola solicitud.

Segunda: cada solicitud admite una imagen y un vídeo. El modelo no procesa PDF directamente; primero hay que convertir cada página en una imagen. Los archivos multimedia solo se pueden enviar incrustados en base64, porque el endpoint funciona con aislamiento de red y no puede acceder a enlaces.

Tercera: los prompts largos ralentizan la respuesta. Con 10.000 tokens de entrada, el tiempo hasta el primer token en g7.24xlarge es de 12,6 segundos. Es mucho para un chat interactivo, pero resulta tolerable en el procesamiento de documentos por lotes.

Cuarta: el checkpoint incluye un cabezal MTP para decodificación especulativa, pero la configuración de JumpStart no lo activa. El endpoint no carga adaptadores LoRA; solo sirve los pesos base. Las cuotas de instancias g7 empiezan en cero en las cuentas nuevas, por lo que conviene solicitar un aumento con antelación. Necesitarás SageMaker Python SDK v3, versión 3.25 o posterior, y tendrás que indicar explícitamente el tipo de instancia en Compute; de lo contrario, la compilación fallará al usar ml.m5.large por defecto.

Cómo aprovecharlo

Si procesas un flujo de facturas, contratos o informes y quieres mantener los datos dentro de AWS, esta es una forma rápida de validar una idea: desplegar NVFP4 en g7.24xlarge, renderizar las páginas como PNG y pedir JSON. Para los agentes de GUI, un resultado de alrededor del 52% en OSWorld indica que el modelo sirve para experimentar, pero no para automatización sin supervisión. La licencia es OpenMDW 1.1; asegúrate de leerla en la ficha del modelo antes del despliegue. A los responsables de producto también les conviene calcular de antemano el coste del endpoint inactivo: un modelo de 120B en cuatro GPU cuesta dinero incluso cuando nadie envía solicitudes.