Cómo reducir un modelo de lenguaje a un tercio: guía de FP8, GPTQ y SmoothQuant

La herramienta de código abierto llmcompressor permite comprimir modelos de lenguaje preentrenados hasta un tamaño apto para uso en producción. Una nueva guía práctica muestra cómo aplicar la cuantización a modelos ya ajustados con instrucciones y cómo elegir el método óptimo para cada caso.

Qué es la cuantización de modelos

La cuantización reduce la precisión de los números con los que trabaja el modelo. En lugar de los habituales números de 16 bits (FP16) o 32 bits (FP32), el modelo puede operar con valores de 8 bits (int8) o incluso de 4 bits. Así el modelo es más pequeño y rápido, pero puede empeorar la calidad de sus respuestas.

Hay dos enfoques: la cuantización durante el entrenamiento (QAT) y la cuantización posterior al entrenamiento (PTQ). La primera es más precisa, pero exige reentrenar el modelo con datos. La segunda es más rápida: se aplica a un modelo ya terminado justo antes de usarlo, sin necesidad de reentrenarlo.

llmcompressor se especializa en PTQ, la cuantización posterior al entrenamiento. Esto permite aplicar la compresión en cuestión de horas en vez de semanas de reentrenamiento. El ingeniero carga un modelo ya listo en llmcompressor, elige un método de cuantización y, unas horas después, tiene una versión comprimida lista para funcionar en hardware modesto.

Tres métodos de cuantización frente a frente

La guía prueba en detalle tres enfoques distintos sobre el mismo modelo base:

• Cuantización dinámica FP8 — la más sencilla, funciona en minutos y no requiere calibración con datos adicionales. Todos los números (pesos y activaciones) se pasan a un formato de 8 bits. Inconveniente: es la menos precisa y puede perder hasta un 5 % de calidad en las respuestas.
• GPTQ (W4A16) — comprime solo los pesos del modelo a 4 bits, mientras que las activaciones conservan los 16 bits originales. Requiere una pequeña calibración con una muestra de datos. Buen equilibrio entre velocidad y calidad.
• SmoothQuant con GPTQ (W8A8) — la más precisa de las tres, con pesos y activaciones en 8 bits pero con una redistribución inteligente de los valores. Es más lenta que las demás y necesita más datos de calibración, pero los resultados quedan cerca del original, con una pérdida de menos del 1 %.

Cada método se probó en una tarea real: generar texto a partir de consultas de usuarios. Se midieron el tamaño del archivo en disco, la velocidad de generación (latencia y rendimiento) y la perplejidad (perplexity) del modelo, una métrica de cuánto se equivoca con los datos de prueba.

Resultados de los benchmarks

El tamaño en disco puede reducirse entre 3 y 4 veces. Un modelo de 16 bits ocupa bastante más espacio que la versión de 8 bits del mismo modelo. La velocidad de inferencia aumenta en proporción a la compresión, sobre todo en dispositivos móviles, donde la batería es crítica.

La precisión depende del método elegido. FP8 pierde hasta un 5 % de calidad en las respuestas; SmoothQuant, menos del 1 %. En escenarios de producción donde cada punto porcentual de precisión cuenta, se elige SmoothQuant, aunque sea más lento. FP8 sirve para generar ideas, borradores y tareas auxiliares, donde el ahorro de cómputo compensa la pérdida de calidad.

La conclusión práctica de la guía: si necesitas velocidad y costes bajos, elige FP8. Si la precisión es crítica y estás dispuesto a dedicar más tiempo a la inferencia, SmoothQuant.

A quién le interesa

La herramienta y el enfoque son útiles para empresas que quieren llevar su propio modelo de lenguaje a producción:

• en el edge (en el dispositivo del usuario) sin enviar datos a la nube
• en una nube privada con hardware y presupuesto limitados
• a escala: cuanto menor es el modelo, más barato resulta el procesamiento por lotes y las facturas de la nube

Startups y grandes empresas ya usan activamente la cuantización. Meta* lanzó Llama 2 con soporte oficial de cuantización int8. Hugging Face publicó bitsandbytes, una biblioteca que simplifica la cuantización para los ingenieros. Ahora llmcompressor permite hacerlo con control preciso sobre el método.

Qué significa

La cuantización pasa de ser un experimento a una herramienta estándar del pipeline de ML. Cierra la última milla: herramientas como llmcompressor permiten al ingeniero elegir el equilibrio entre tamaño, velocidad y calidad en horas en lugar de semanas de experimentos. Para toda la industria, esto significa que los grandes modelos de lenguaje son más accesibles, más baratos de operar y más seguros en términos de privacidad, porque pueden ejecutarse en local sin la nube.

*Meta está reconocida como organización extremista y prohibida en Rusia.