Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarMachine Learning Mastery→ original

La cuantización reduce a la mitad el tamaño de los pesos de un LLM en INT8 frente a FP16: guía de TorchAO

Para generar cada token, un LLM vuelve a leer todos sus pesos desde la memoria, y con poca carga esa lectura tarda más que los propios cálculos. La cuantización almacena los pesos como enteros de 8 bits (INT8) en lugar de números fraccionarios de 16 bits (FP16): se necesita la mitad de espacio, y la biblioteca TorchAO de PyTorch lo consigue con una sola función y sin reentrenamiento. La aceleración depende de la tarjeta gráfica y de los kernels, así que tras la compresión conviene medir la memoria, la velocidad y la calidad de todo el modelo.

Procesado por IA desde Machine Learning Mastery; editado por Hamidun News
La cuantización reduce a la mitad el tamaño de los pesos de un LLM en INT8 frente a FP16: guía de TorchAO
Fuente: Machine Learning Mastery. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalMachine Learning Mastery ↗
Editor jefe
Dato clave #1GPTQ y AWQ ajustan los pesos con ejemplos de calibración, en lugar de limitarse a redondear.
Dato clave #2El GPTQ asimétrico no funciona con el backend Marlin: elija ambos por separado.
Dato clave #3INT4 con grupos de 128 en transformers se activa directamente al cargar el modelo.

Imagine que, por cada palabra que escribe un chatbot, tiene que volver a hojear toda su enciclopedia. Así funciona más o menos un LLM en una tarjeta gráfica: para cada nuevo token, el transformador lee todos sus pesos desde la memoria. Con lotes pequeños (cuando se procesan pocas peticiones), mover los pesos tarda más que las propias operaciones matemáticas.

La cuantización ataca este problema: los pesos se guardan con menos bits. Por ejemplo, un entero de 8 bits (INT8) ocupa la mitad de espacio que un número fraccionario de 16 bits (FP16 o BF16). Además, muchos aceleradores de IA calculan con baja precisión más rápido que en FP16.

Adrian Tam, de Machine Learning Mastery, lo explica en la práctica: desde la fórmula hasta los checkpoints listos para usar, incluido el uso de TorchAO, la biblioteca de cuantización integrada en PyTorch.

Cómo se convierten los pesos en enteros

La forma más sencilla de pensarlo es con una regla. El rango de valores de los pesos se divide en un número finito de divisiones, y cada peso se registra con el número de la división más cercana. Para ello se necesitan dos parámetros: la escala (el paso entre divisiones contiguas) y el punto cero (el número de división que corresponde al cero real). Al usarlo, el número se convierte de nuevo en un valor aproximado. La diferencia entre el valor original y el reconstruido es el error de redondeo.

El autor advierte de una trampa. El ejemplo didáctico en PyTorch almacena los valores en uint8, y cada uno ocupa un byte completo aunque se hayan pedido 4 bits. Para obtener un ahorro real, un formato de producción tiene que empaquetar los valores en menos de un byte. Otro detalle: usar una sola escala para todo el tensor degrada la calidad. En los LLM suele ser mejor un esquema por canales o por grupos, en el que cada fila de la matriz o cada bloque de pesos tiene su propio rango.

El modo weight-only significa que solo se comprimen los pesos, mientras que las entradas de la capa (las activaciones) se mantienen en FP16 o BF16. Un kernel eficiente usa directamente los pesos enteros y no reconstruye una copia completa de la matriz.

TorchAO, GPTQ y AWQ: tres formas de obtener un modelo comprimido

El camino más corto es TorchAO. La función quantize_() sustituye en el sitio los pesos de las capas Linear adecuadas de un modelo ya entrenado. No hace falta reentrenar, por lo que el método se denomina cuantización posterior al entrenamiento. En el ejemplo, el autor pide INT8 asimétrico por canales con activaciones en BF16. Mediante la biblioteca transformers, la configuración puede aplicarse directamente al cargar el modelo, por ejemplo INT4 con grupos de 128. El autor señala por separado que elegir explícitamente el algoritmo HQQ y el empaquetado por mosaicos permitió evitar la dependencia opcional del kernel MSLK en TorchAO 0.17 en una RTX 4090 probada. En otras versiones y tarjetas, las disposiciones disponibles pueden ser distintas.

El redondeo simple examina cada peso por separado y no tiene en cuenta cuánto influye cada canal de entrada en la respuesta. GPTQ y AWQ usan ejemplos de calibración, es decir, un pequeño conjunto de textos típicos. GPTQ comprime capa a capa y, sobre la marcha, corrige los pesos aún sin comprimir para compensar el error acumulado. En transformers, GPTQ funciona ahora con el backend GPT-QModel, y en el ejemplo la calibración se hace con el conjunto de datos c4; el parámetro sym=False activa el esquema asimétrico. AWQ identifica los pesos que son importantes con activaciones típicas y calcula coeficientes que los protegen antes de la compresión.

También hay escollos. Los checkpoints GPTQ asimétricos funcionan con menos kernels: el backend Marlin no los admite. La implementación de referencia de AWQ usa para la calibración 128 ejemplos de pile-val-backup de 512 tokens cada uno, y no es posible elegir otro conjunto de datos desde su línea de comandos. El archivo .pt bruto tras la cuantización no es un checkpoint completo de Hugging Face: no incluye la configuración del modelo ni el tokenizador, que hay que empaquetar por separado.

Qué hacer en la práctica

  • Elija el esquema y el backend juntos. Una configuración matemáticamente correcta no siempre es la más rápida, y el entorno de ejecución debe soportar el formato de empaquetado exacto.
  • No calcule el ahorro con la fórmula. INT8 ocupa la mitad de espacio bruto que FP16 o BF16, pero el resultado final depende del empaquetado, los grupos y las escalas.
  • Mida el modelo completo. La velocidad depende del hardware, los kernels y la forma de las matrices. Fíjese en la memoria, la latencia y la calidad en sus propias tareas, no en una sola capa.
  • Compruebe la calibración. El resultado de GPTQ y AWQ depende de lo parecidos que sean los ejemplos al tráfico real. Para código, textos jurídicos u otro idioma, un conjunto de datos genérico puede no servir.

El material también describe la conversión al formato GGUF para llama.cpp (se necesita una copia compilada del repositorio) y la evaluación de los efectos de la cuantización. El original, en nuestra versión, se interrumpe a mitad de la sección sobre GPTQ, por lo que no incluye cifras sobre la velocidad final ni sobre la pérdida de calidad. Para los equipos que calculan el coste de la inferencia, es una chuleta útil. Un orden razonable: tomar la variante de TorchAO sin calibración como punto de partida, medir memoria, velocidad y calidad, y después probar GPTQ o AWQ allí donde se necesite más compresión.

Historia

Preguntas frecuentes sobre la noticia

Cómo se convierten los pesos en enteros?

La forma más sencilla de pensarlo es con una regla. El rango de valores de los pesos se divide en un número finito de divisiones, y cada peso se registra con el número de la división más cercana. Para ello se necesitan dos parámetros: la escala (el paso entre divisiones contiguas) y el punto cero (el número de división que corresponde al cero real). Al usarlo, el número se convierte de nuevo en un valor aproximado. La diferencia entre el valor original y el reconstruido es el error de redondeo.

¿Qué se sabe sobre TorchAO, GPTQ y AWQ: tres formas de obtener un modelo comprimido?

El camino más corto es TorchAO. La función quantize_() sustituye en el sitio los pesos de las capas Linear adecuadas de un modelo ya entrenado. No hace falta reentrenar, por lo que el método se denomina cuantización posterior al entrenamiento. En el ejemplo, el autor pide INT8 asimétrico por canales con activaciones en BF16. Mediante la biblioteca transformers, la configuración puede aplicarse directamente al cargar el modelo, por ejemplo INT4 con grupos de 128.

¿Qué se sabe sobre Qué hacer en la práctica?

Elija el esquema y el backend juntos. Una configuración matemáticamente correcta no siempre es la más rápida, y el entorno de ejecución debe soportar el formato de empaquetado exacto. No calcule el ahorro con la fórmula. INT8 ocupa la mitad de espacio bruto que FP16 o BF16, pero el resultado final depende del empaquetado, los grupos y las escalas. Mida el modelo completo. La velocidad depende del hardware, los kernels y la forma de las matrices.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…