En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
InfraestructuraAPI / Producto · Listo para usarModal Blog→ original

Modal acelera un 35% la generación de Sakana Namazu con un modelo borrador

Dos factores dificultan acelerar un LLM para una API en producción: el elevado coste de la memoria de GPU y la lentitud al generar respuestas. Para Sakana Namazu, un modelo de aproximadamente un billón de parámetros, Modal combinó la compresión selectiva de pesos con un modelo pequeño que propone continuaciones para que el principal las verifique. Según el equipo, la latencia por token se redujo alrededor de un 35% y una sola réplica pudo atender aproximadamente un 40% más de tráfico antes de que empezaran a crecer las colas.

Procesado por IA desde Modal Blog; editado por Hamidun News
Modal acelera un 35% la generación de Sakana Namazu con un modelo borrador
Fuente: Modal Blog. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalModal Blog ↗
Editor jefe
Dato clave #1La compresión se evaluó con conversaciones en japonés representativas de las tareas del modelo.
Dato clave #2El modelo auxiliar se entrenó con los ID originales de los tokens, conservando sus límites dentro de JSON.
Dato clave #3Los resultados corresponden a la carga de trabajo de Sakana; tu API necesita mediciones propias.

Si tu servicio de IA tarda en responder, comprar más GPU puede ser una forma cara de sortear el problema. Los aceleradores pasan parte del tiempo esperando, algunas operaciones se repiten y el modelo pequeño encargado de acelerar la generación puede tener dificultades para predecir la continuación. En un análisis de Modal publicado el 23 de octubre, el equipo explica cómo resolvió estos problemas para Sakana Namazu, un modelo de aproximadamente un billón de parámetros orientado a tareas empresariales en japonés, búsquedas web y ejecución de código.

El principal resultado de la primera fase: según Modal, la latencia de generación por token se redujo alrededor de un 35%. Una réplica pudo atender aproximadamente un 40% más de tráfico antes de que empezaran a crecer las colas. Detrás de estas cifras hay varios cambios independientes, y para los desarrolladores resulta más útil la secuencia de decisiones que una promesa de obtener la misma aceleración.

Comprimir los pesos teniendo en cuenta las tareas reales

Namazu utiliza una arquitectura Mixture-of-Experts: el modelo contiene numerosos bloques especializados y un enrutador decide cuáles activar. Estos bloques concentran la mayor parte de los parámetros. Los ingenieros convirtieron los expertos seleccionados por el enrutador a NVFP4, un formato de baja precisión para las GPU NVIDIA Blackwell. El mecanismo de atención, el enrutador y los expertos compartidos se mantuvieron en BF16.

¿Por qué hacerlo de forma tan selectiva? La compresión libera memoria, pero evaluar con las pruebas habituales en inglés puede ocultar un deterioro de las respuestas en japonés. Por eso, los parámetros de compresión se ajustaron con conversaciones similares a las tareas de producción de Namazu, con una alta proporción de japonés. Según el equipo, el rendimiento al seguir instrucciones en japonés se mantuvo dentro del margen de error de las pruebas utilizadas respecto a la versión del modelo en producción.

Imagina un asistente que redacta correspondencia comercial para clientes japoneses. Tras la compresión, puede seguir resolviendo bien tareas en inglés, pero respetar peor las fórmulas de tratamiento adecuadas. La lección práctica: el conjunto de evaluación debe incluir el idioma, el estilo y los casos de uso de tu producto. Una única clasificación general no basta.

El modelo borrador debe conocer tu tráfico

La segunda técnica es la decodificación especulativa. Un modelo pequeño propone varios tokens siguientes y el grande los verifica en una sola pasada. Cuantas más propuestas acepta, menos pasos de generación necesita ejecutar.

Un modelo auxiliar genérico no predecía bien el estilo empresarial japonés de Namazu: su tasa de aceptación de tokens era inferior al 40%. El equipo entrenó su propio modelo DFlash con datos representativos de Namazu. Un detalle importante: conservó los identificadores originales de los tokens. Convertir una respuesta en texto y volver a tokenizarla puede modificar los límites de los tokens dentro de las llamadas a herramientas y de JSON, aunque la cadena visible siga siendo idéntica.

Tras el lanzamiento de la API, aparecieron datos para la siguiente mejora. Un nuevo modelo auxiliar basado en la arquitectura DFlash2 se entrenó con aproximadamente un millón de solicitudes reales. Para comparar dos configuraciones de servicio idénticas, se utilizaron mil solicitudes reservadas para evaluación, con los ajustes de generación de los usuarios. El número medio de tokens aceptados por paso pasó de 3,51 a 5,01, un aumento del 43%. La latencia p99 bajó de 68 a 52 segundos. Esta métrica refleja las respuestas lentas: aproximadamente el 99% de las solicitudes se completa dentro del tiempo indicado.

La cola también forma parte del tiempo de respuesta

Los ingenieros también eliminaron las esperas entre CPU y GPU en el bucle de verificación de borradores, incorporaron kernels de cálculo más rápidos y empezaron a reutilizar operaciones de preparación. Al trabajar con cuatro GPU, fue necesario garantizar una decisión uniforme sobre la aceptación de tokens: las discrepancias ocasionales entre dispositivos provocaban bloqueos.

Por separado, modificaron la distribución de solicitudes entre réplicas. El enrutador tiene en cuenta dónde ya están almacenados en caché los cálculos correspondientes al inicio del prompt y, al mismo tiempo, supervisa la carga. Esto redujo las colas y los picos de espera hasta el primer token, aunque la velocidad de generación posterior no cambió.

El caso tiene limitaciones importantes: los resultados los publica el proveedor de infraestructura, el artículo no incluye una verificación independiente y no se revela el coste por solicitud. Los porcentajes de distintas optimizaciones no se pueden sumar, y mil solicitudes no representan cualquier carga futura. Para tu propia API, un primer paso razonable es medir por separado el tiempo hasta el primer token, la velocidad de generación y las colas, y después comparar los cambios con las mismas solicitudes. Así podrás determinar si necesitas un nuevo modelo auxiliar, ajustar la compresión o corregir la distribución de carga.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Comprimir los pesos teniendo en cuenta las tareas reales?

Namazu utiliza una arquitectura Mixture-of-Experts: el modelo contiene numerosos bloques especializados y un enrutador decide cuáles activar. Estos bloques concentran la mayor parte de los parámetros. Los ingenieros convirtieron los expertos seleccionados por el enrutador a NVFP4, un formato de baja precisión para las GPU NVIDIA Blackwell. El mecanismo de atención, el enrutador y los expertos compartidos se mantuvieron en BF16. ¿Por qué hacerlo de forma tan selectiva?

¿Qué se sabe sobre El modelo borrador debe conocer tu tráfico?

La segunda técnica es la decodificación especulativa. Un modelo pequeño propone varios tokens siguientes y el grande los verifica en una sola pasada. Cuantas más propuestas acepta, menos pasos de generación necesita ejecutar. Un modelo auxiliar genérico no predecía bien el estilo empresarial japonés de Namazu: su tasa de aceptación de tokens era inferior al 40%. El equipo entrenó su propio modelo DFlash con datos representativos de Namazu.

¿Qué se sabe sobre La cola también forma parte del tiempo de respuesta?

Los ingenieros también eliminaron las esperas entre CPU y GPU en el bucle de verificación de borradores, incorporaron kernels de cálculo más rápidos y empezaron a reutilizar operaciones de preparación. Al trabajar con cuatro GPU, fue necesario garantizar una decisión uniforme sobre la aceptación de tokens: las discrepancias ocasionales entre dispositivos provocaban bloqueos. Por separado, modificaron la distribución de solicitudes entre réplicas.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…