Cómo comprimir un modelo de lenguaje 3x: guía de FP8, GPTQ y SmoothQuant

Una herramienta de código abierto llmcompressor permite comprimir modelos de lenguaje preentrenados a un tamaño apto para uso en producción. Una nueva guía práctica muestra cómo aplicar cuantización a modelos ya ajustados por instrucciones y elegir el método óptimo para tu escenario.

Qué es la cuantización de modelos

La cuantización es la reducción de la precisión de los números con los que trabaja un modelo. En lugar de números estándar de 16 bits (FP16) o 32 bits (FP32), un modelo puede trabajar con valores de 8 bits (int8) o incluso 4 bits. Esto hace el modelo más pequeño y rápido, pero puede degradar la calidad de las respuestas. Hay dos enfoques: cuantización consciente del entrenamiento (QAT) y cuantización posterior al entrenamiento (PTQ). El primero es más preciso, pero requiere reentreno del modelo en datos. El segundo es más rápido, simplemente se aplica a un modelo ya listo justo antes del uso, sin necesidad de reentreno.

llmcompressor se especializa en PTQ — cuantización posterior al entrenamiento. Esto permite que la compresión se aplique en cuestión de horas en lugar de semanas de reentreno. Un ingeniero carga un modelo listo en llmcompressor, elige un método de cuantización y en pocas horas obtiene una versión comprimida lista para usar en hardware más débil.

Tres métodos de cuantización en comparación

La guía prueba a fondo tres enfoques diferentes en el mismo modelo base:

• Cuantización dinámica FP8 — la más simple, funciona en minutos, no requiere calibración en datos adicionales. Todos los números (pesos y activaciones) se convierten a formato de 8 bits. Desventaja: peor precisión, puede perder hasta 5% en la calidad de las respuestas
• GPTQ (W4A16) — comprime solo los pesos del modelo a 4 bits, las activaciones permanecen en los 16 bits originales. Requiere pequeña calibración en una muestra de datos. Buen equilibrio entre velocidad y calidad
• SmoothQuant con GPTQ (W8A8) — la más precisa de las tres, pesos y activaciones en 8 bits, pero con distribución inteligente de valores. Más lenta que las otras, requiere más datos para calibración, pero los resultados permanecen cerca del original con pérdida inferior al 1%

Cada método se probó en una tarea real — generación de texto basada en consultas de usuarios. Midieron tamaño de archivo en disco, velocidad de generación (latencia y throughput), y la "perplejidad" del modelo — una métrica de cómo el modelo se equivoca en datos de prueba.

Resultados de los benchmarks

El tamaño en disco puede reducirse 3-4 veces. Un modelo de 16 bits ocupa sustancialmente más espacio que la versión de 8 bits del mismo modelo. La velocidad de inferencia aumenta proporcionalmente a la compresión, especialmente notable en dispositivos móviles donde la batería es crítica. La precisión depende del método elegido. FP8 pierde hasta 5% en calidad de respuestas, SmoothQuant — menos del 1%. Para escenarios de producción donde cada porcentaje de precisión es crítico, se elige SmoothQuant, incluso si es más lento. Para generación de ideas, borradores y tareas auxiliares, FP8 es adecuado, y el ahorro computacional justifica la pérdida de calidad.

La conclusión práctica de la guía: si necesitas velocidad y bajos costos — elige FP8. Si la precisión es crítica y estás dispuesto a dedicar más tiempo a la inferencia — SmoothQuant.

Quién lo necesita

Esta herramienta y enfoque son útiles para empresas que desean ejecutar su modelo de lenguaje en producción:

— en edge (en el dispositivo del usuario) sin enviar datos a la nube — en una nube privada con hardware y presupuesto limitados — a escala: cuanto menor es el modelo, más barato el procesamiento por lotes y las facturas en la nube

Las startups y la industria corporativa ya están usando activamente la cuantización. Meta lanzó Llama 2 con soporte oficial para cuantización int8. Hugging Face lanzó bitsandbytes — una biblioteca que simplifica la cuantización para ingenieros. Ahora llmcompressor permite hacerlo con control refinado sobre el método.

Qué significa

La cuantización está transitando de la categoría de experimentos a una herramienta estándar de pipeline de ML. Este es el cierre de la última milla — herramientas como llmcompressor permiten que un ingeniero elija un compromiso entre tamaño, velocidad y calidad en horas en lugar de semanas de experimentación. Para toda la industria esto significa: los grandes modelos de lenguaje se hacen más accesibles, más baratos de operar y más seguros en términos de privacidad, porque puedes ejecutarlos localmente sin la nube.