Cómo comprimir un LLM completo a 8 bits: SmoothQuant y FP8 frente a los valores atípicos
Para que un LLM funcione más rápido, sus números se comprimen a 8 bits. Con los pesos basta hacerlo una sola vez, pero las activaciones —los valores intermedios de cada consulta— fluctúan y contienen valores atípicos. SmoothQuant divide los canales de activaciones «ruidosos» entre un coeficiente y multiplica por ese mismo coeficiente los pesos, de modo que el resultado de la capa no cambia. W8A8 usa 8 bits tanto para los pesos como para las activaciones (INT8 o FP8). Pero no siempre es más rápido que W4A16 o BF16, así que mida el rendimiento con su propia carga de trabajo.
Procesado por IA desde Machine Learning Mastery; editado por Hamidun News
Para que un LLM funcione más rápido y ocupe menos memoria, sus números se almacenan en 8 bits en lugar de formatos más pesados como BF16 o FP32. Con los pesos del modelo el proceso es sencillo: se fijan tras el entrenamiento y pueden comprimirse una sola vez antes del despliegue. Con las activaciones la cosa se complica: son los valores intermedios que el modelo calcula de nuevo en cada consulta.
Dependen del token de entrada, de su posición y de las capas anteriores, y en ciertos canales aparecen constantemente números anormalmente grandes, los valores atípicos. El modo W8A8 (8 bits tanto para los pesos como para las activaciones) choca precisamente con este problema. En un nuevo análisis de Machine Learning Mastery, Adrian Tam muestra cómo se esquiva con SmoothQuant, INT8 y FP8, y qué se puede ejecutar ya en vLLM.
Por qué las activaciones son más difíciles que los pesos
Imagine una regla con la que hay que medir tanto la altura de un niño como la de un rascacielos. Si estira la escala para el rascacielos, no podrá medir al niño con precisión: todos los valores caben en un par de marcas. Si recorta la escala, el rascacielos chocará contra el techo y su información se perderá. Con los valores atípicos en las activaciones ocurre lo mismo: el rango amplio hace que el paso de cuantización sea grueso para los valores normales, y el recorte mejora la precisión de los valores normales pero destruye el valor atípico.
La escala puede definirse de dos maneras. La estática se elige de antemano con datos de calibración: es rápida, pero una entrada fuera del rango de calibración puede quedar recortada. La dinámica se mide durante la propia consulta: se adapta a cada entrada, pero añade a la ruta de inferencia la búsqueda del máximo y el cálculo de la escala. Una opción habitual en los transformadores es la escala dinámica por token: una sola escala para todas las características ocultas de cada token. El ejemplo del artículo usa INT8 simétrico, donde el punto cero siempre es cero, lo que simplifica la aritmética de las multiplicaciones de matrices.
SmoothQuant: trasladar la dificultad a los pesos
SmoothQuant elimina los valores atípicos con una sustitución ingeniosa. Los canales de activaciones con valores grandes se dividen entre coeficientes elegidos adecuadamente, y las columnas correspondientes de los pesos se multiplican por esos mismos coeficientes. Antes de la cuantización, el resultado de la capa no cambia matemáticamente, pero el rango de las activaciones se iguala. Los pesos son estáticos y suelen tolerar mejor un rango irregular si se cuantizan por canal.
El autor señala por separado la diferencia con AWQ, del texto anterior de la serie. AWQ usa activaciones de calibración para proteger los pesos importantes en un formato como W4A16, mientras que las activaciones durante la inferencia permanecen en un formato más preciso. SmoothQuant prepara ambos lados para INT8: modifica los pesos almacenados y facilita la cuantización de las activaciones sobre la marcha.
El camino práctico es la biblioteca LLM Compressor, del proyecto vLLM. En el ejemplo con TinyLlama-1.1B se toman 128 muestras de calibración del conjunto de datos ultrachat_200k, de hasta 512 tokens. Después se aplican SmoothQuantModifier con una intensidad de suavizado de 0,8 y GPTQModifier para el esquema W8A8, sin tocar la capa lm_head. El punto de control guarda los pesos INT8 por canal y las instrucciones para cuantizar las activaciones durante la inferencia, pero las activaciones en sí no se guardan. vLLM carga este punto de control sin un argumento de cuantización aparte.
FP8: no es simplemente recortar bits
FP8 también es una cuantización con escala. El tensor se divide entre la escala y se redondea al valor más cercano que el formato FP8 puede representar. El autor subraya que no se trata de cortar sin más los bits de un valor FP32. Para quienes tengan tarjetas Blackwell esto es especialmente importante: los núcleos INT8 actuales de vLLM están pensados para GPUs NVIDIA desde Turing hasta Hopper, así que en Blackwell conviene elegir la ruta FP8 compatible.
Qué tener en cuenta en la práctica
- Una generación corta con TinyLlama solo comprueba que el punto de control se carga y funciona. La respuesta de un modelo pequeño puede ser imprecisa, y la calidad de la cuantización debe compararse con el modelo original usando prompts representativos.
- El formato del punto de control, la arquitectura del modelo, la versión de vLLM y la GPU deben admitir el mismo esquema W8A8.
- W8A8 no garantiza una ventaja frente a W4A16 o BF16. El hardware de matrices INT8 rinde bien en prefill y con lotes grandes, mientras que W4A16 lee menos bytes de pesos y puede resultar más conveniente en la decodificación con lotes pequeños.
Conclusión para quien calcula el coste de la inferencia: no existe un esquema mejor para todos los casos. Primero determine el perfil de su carga de trabajo: prompts largos o respuestas cortas, lotes grandes o pequeños. Después prepare dos o tres variantes de puntos de control y ejecute un benchmark por separado para prefill y decode, sin olvidar evaluar la calidad. Una salvedad: el análisis usa un modelo diminuto, así que las cifras reales de velocidad y precisión en LLM grandes deberá verificarlas por su cuenta.
- 17 may 2026Cómo reducir un modelo de lenguaje a un tercio: guía de FP8, GPTQ y SmoothQuant
- 11 oct 2026Padres de una escuela a 300 m de la fábrica de Tesla piden más tiempo para estudiar el plan de emisiones
- 9 jul 2026IA para empresas y clima: por qué Google y Amazon se quedan atrás en sus objetivos
- 3 may 2026KDnuggets: cinco métodos de detección de valores atípicos coincidieron solo en 32 de 816 vinos
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Por qué las activaciones son más difíciles que los pesos?
Imagine una regla con la que hay que medir tanto la altura de un niño como la de un rascacielos. Si estira la escala para el rascacielos, no podrá medir al niño con precisión: todos los valores caben en un par de marcas. Si recorta la escala, el rascacielos chocará contra el techo y su información se perderá.
¿Qué se sabe sobre SmoothQuant: trasladar la dificultad a los pesos?
SmoothQuant elimina los valores atípicos con una sustitución ingeniosa. Los canales de activaciones con valores grandes se dividen entre coeficientes elegidos adecuadamente, y las columnas correspondientes de los pesos se multiplican por esos mismos coeficientes. Antes de la cuantización, el resultado de la capa no cambia matemáticamente, pero el rango de las activaciones se iguala. Los pesos son estáticos y suelen tolerar mejor un rango irregular si se cuantizan por canal.
¿Qué se sabe sobre FP8: no es simplemente recortar bits?
FP8 también es una cuantización con escala. El tensor se divide entre la escala y se redondea al valor más cercano que el formato FP8 puede representar. El autor subraya que no se trata de cortar sin más los bits de un valor FP32. Para quienes tengan tarjetas Blackwell esto es especialmente importante: los núcleos INT8 actuales de vLLM están pensados para GPUs NVIDIA desde Turing hasta Hopper, así que en Blackwell conviene elegir la ruta FP8 compatible.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.