Modal acelera un 35% la generación de Sakana Namazu con un modelo borrador
Dos factores dificultan acelerar un LLM para una API en producción: el elevado coste de la memoria de GPU y la lentitud al generar respuestas. Para Sakana Namazu, un modelo de aproximadamente un billón de parámetros, Modal combinó la compresión selectiva de pesos con un modelo pequeño que propone continuaciones para que el principal las verifique. Según el equipo, la latencia por token se redujo alrededor de un 35% y una sola réplica pudo atender aproximadamente un 40% más de tráfico antes de que empezaran a crecer las colas.
Procesado por IA desde Modal Blog; editado por Hamidun News
Si tu servicio de IA tarda en responder, comprar más GPU puede ser una forma cara de sortear el problema. Los aceleradores pasan parte del tiempo esperando, algunas operaciones se repiten y el modelo pequeño encargado de acelerar la generación puede tener dificultades para predecir la continuación. En un análisis de Modal publicado el 23 de octubre, el equipo explica cómo resolvió estos problemas para Sakana Namazu, un modelo de aproximadamente un billón de parámetros orientado a tareas empresariales en japonés, búsquedas web y ejecución de código.
El principal resultado de la primera fase: según Modal, la latencia de generación por token se redujo alrededor de un 35%. Una réplica pudo atender aproximadamente un 40% más de tráfico antes de que empezaran a crecer las colas. Detrás de estas cifras hay varios cambios independientes, y para los desarrolladores resulta más útil la secuencia de decisiones que una promesa de obtener la misma aceleración.
Comprimir los pesos teniendo en cuenta las tareas reales
Namazu utiliza una arquitectura Mixture-of-Experts: el modelo contiene numerosos bloques especializados y un enrutador decide cuáles activar. Estos bloques concentran la mayor parte de los parámetros. Los ingenieros convirtieron los expertos seleccionados por el enrutador a NVFP4, un formato de baja precisión para las GPU NVIDIA Blackwell. El mecanismo de atención, el enrutador y los expertos compartidos se mantuvieron en BF16.
¿Por qué hacerlo de forma tan selectiva? La compresión libera memoria, pero evaluar con las pruebas habituales en inglés puede ocultar un deterioro de las respuestas en japonés. Por eso, los parámetros de compresión se ajustaron con conversaciones similares a las tareas de producción de Namazu, con una alta proporción de japonés. Según el equipo, el rendimiento al seguir instrucciones en japonés se mantuvo dentro del margen de error de las pruebas utilizadas respecto a la versión del modelo en producción.
Imagina un asistente que redacta correspondencia comercial para clientes japoneses. Tras la compresión, puede seguir resolviendo bien tareas en inglés, pero respetar peor las fórmulas de tratamiento adecuadas. La lección práctica: el conjunto de evaluación debe incluir el idioma, el estilo y los casos de uso de tu producto. Una única clasificación general no basta.
El modelo borrador debe conocer tu tráfico
La segunda técnica es la decodificación especulativa. Un modelo pequeño propone varios tokens siguientes y el grande los verifica en una sola pasada. Cuantas más propuestas acepta, menos pasos de generación necesita ejecutar.
Un modelo auxiliar genérico no predecía bien el estilo empresarial japonés de Namazu: su tasa de aceptación de tokens era inferior al 40%. El equipo entrenó su propio modelo DFlash con datos representativos de Namazu. Un detalle importante: conservó los identificadores originales de los tokens. Convertir una respuesta en texto y volver a tokenizarla puede modificar los límites de los tokens dentro de las llamadas a herramientas y de JSON, aunque la cadena visible siga siendo idéntica.
Tras el lanzamiento de la API, aparecieron datos para la siguiente mejora. Un nuevo modelo auxiliar basado en la arquitectura DFlash2 se entrenó con aproximadamente un millón de solicitudes reales. Para comparar dos configuraciones de servicio idénticas, se utilizaron mil solicitudes reservadas para evaluación, con los ajustes de generación de los usuarios. El número medio de tokens aceptados por paso pasó de 3,51 a 5,01, un aumento del 43%. La latencia p99 bajó de 68 a 52 segundos. Esta métrica refleja las respuestas lentas: aproximadamente el 99% de las solicitudes se completa dentro del tiempo indicado.
La cola también forma parte del tiempo de respuesta
Los ingenieros también eliminaron las esperas entre CPU y GPU en el bucle de verificación de borradores, incorporaron kernels de cálculo más rápidos y empezaron a reutilizar operaciones de preparación. Al trabajar con cuatro GPU, fue necesario garantizar una decisión uniforme sobre la aceptación de tokens: las discrepancias ocasionales entre dispositivos provocaban bloqueos.
Por separado, modificaron la distribución de solicitudes entre réplicas. El enrutador tiene en cuenta dónde ya están almacenados en caché los cálculos correspondientes al inicio del prompt y, al mismo tiempo, supervisa la carga. Esto redujo las colas y los picos de espera hasta el primer token, aunque la velocidad de generación posterior no cambió.
El caso tiene limitaciones importantes: los resultados los publica el proveedor de infraestructura, el artículo no incluye una verificación independiente y no se revela el coste por solicitud. Los porcentajes de distintas optimizaciones no se pueden sumar, y mil solicitudes no representan cualquier carga futura. Para tu propia API, un primer paso razonable es medir por separado el tiempo hasta el primer token, la velocidad de generación y las colas, y después comparar los cambios con las mismas solicitudes. Así podrás determinar si necesitas un nuevo modelo auxiliar, ajustar la compresión o corregir la distribución de carga.
- 7 jul 2026Sakana AI lanza Sakana Translate para japonés, inglés y chino
- 12 nov 2026NVIDIA Vera duplica la velocidad de Modal Sandboxes: hasta 4.281 tareas por minuto con 150 contenedores
- 19 jul 2026Sakana AI lanza Sakana Marlin, un agente que elabora informes de 100 páginas con diapositivas
- 7 feb 2026PaperBanana: Google enseña a las redes neuronales a crear gráficos que superan el escrutinio de los revisores
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Comprimir los pesos teniendo en cuenta las tareas reales?
Namazu utiliza una arquitectura Mixture-of-Experts: el modelo contiene numerosos bloques especializados y un enrutador decide cuáles activar. Estos bloques concentran la mayor parte de los parámetros. Los ingenieros convirtieron los expertos seleccionados por el enrutador a NVFP4, un formato de baja precisión para las GPU NVIDIA Blackwell. El mecanismo de atención, el enrutador y los expertos compartidos se mantuvieron en BF16. ¿Por qué hacerlo de forma tan selectiva?
¿Qué se sabe sobre El modelo borrador debe conocer tu tráfico?
La segunda técnica es la decodificación especulativa. Un modelo pequeño propone varios tokens siguientes y el grande los verifica en una sola pasada. Cuantas más propuestas acepta, menos pasos de generación necesita ejecutar. Un modelo auxiliar genérico no predecía bien el estilo empresarial japonés de Namazu: su tasa de aceptación de tokens era inferior al 40%. El equipo entrenó su propio modelo DFlash con datos representativos de Namazu.
¿Qué se sabe sobre La cola también forma parte del tiempo de respuesta?
Los ingenieros también eliminaron las esperas entre CPU y GPU en el bucle de verificación de borradores, incorporaron kernels de cálculo más rápidos y empezaron a reutilizar operaciones de preparación. Al trabajar con cuatro GPU, fue necesario garantizar una decisión uniforme sobre la aceptación de tokens: las discrepancias ocasionales entre dispositivos provocaban bloqueos. Por separado, modificaron la distribución de solicitudes entre réplicas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.