ThinkBit comprime Qwen3-14B a 3,74 GB y mantiene 94,8 en MATH-500

La compresión de LLM a dos bits hace tiempo que luce bien sobre el papel: la perplejidad apenas sube y los tests de opción múltiple se aprueban. Sin embargo, estos modelos a menudo desaprenden a razonar. El equipo de ThinkBit, cuyo artículo está asociado a la organización Microsoft en Hugging Face, abordó el problema al revés y diseñó su método pensando en cadenas largas de razonamiento. En Qwen3-14B el resultado es este: un archivo de 3,74 GB obtiene 94,8 en MATH-500, frente a los 97,5 del original en bfloat16, que ocupa 29,5 GB. La diferencia de tamaño es de casi ocho veces; la de calidad, de menos de tres puntos.

Por qué el razonamiento es lo primero que se rompe

Los modelos de razonamiento generan miles de tokens por cada respuesta. La velocidad de generación no está limitada por el cómputo, sino por el ancho de banda de memoria: por cada token hay que leer todos los pesos. Almacenarlos en dos bits en lugar de dieciséis supone, potencialmente, reducir el coste de inferencia 8 veces. Pero las métricas habituales con las que se evalúan los métodos de dos bits, la perplejidad y el QA de opción múltiple, dicen poco sobre si el modelo sobrevivirá a una tarea compleja de varios pasos. Un pequeño error en los pesos se acumula a lo largo de una cadena larga de tokens, y la respuesta final se desvía.

ThinkBit es estrictamente escalar. Cada peso se representa como una palabra de código entera multiplicada por una escala en bfloat16, compartida por un grupo de pesos. No hay cuantización vectorial con grandes libros de códigos, por lo que el formato es más sencillo de implementar en los runtimes.

Cuatro etapas y un árbitro final

El pipeline es secuencial y cada fase cumple una función distinta:

• Asignación de bits. Una métrica de sensibilidad asigna cada capa a uno de tres niveles: ternario, 2 bits o 3 bits. Las capas críticas reciben más bits; las robustas, menos.
• Búsqueda de palabras de código. Un algoritmo capa a capa basado en Gumbel-softmax busca las palabras de código óptimas, bloque a bloque.
• Recalibración de escalas. El esquema capa a capa no ve cómo se influyen entre sí las capas cuantizadas. Por eso las palabras de código se congelan y las escalas se ajustan según una loss basada en la destilación de conocimiento desde un modelo maestro.
• QAT corto. El entrenamiento consciente de la cuantización permite que el modelo reproduzca la distribución del modelo base mediante la reasignación de palabras de código.
• Selección del checkpoint. Una prueba de razonamiento por pares sobre tareas de entrenamiento decide qué conservar: el resultado de la recalibración o el del QAT. La elección se hace según la capacidad de razonar, no según la perplejidad.

El último paso es el más inusual. El QAT no siempre mejora el razonamiento, y los autores lo comprueban de forma directa en lugar de darlo por supuesto.

Las cifras en Qwen3-1.7B y Qwen3-14B

En Qwen3-1.7B, con un tamaño comparable, el checkpoint recalibrado de ThinkBit obtiene 46,7 en MATH-500. EfficientQAT con los mismos datos logra 30,0. Tras el QAT con trazas de razonamiento, el resultado sube a 73,0. El archivo ocupa 0,52 GB. Es más pequeño que cualquier GGUF de dos bits publicado de este modelo y más preciso que ellos en MATH-500.

Lista completa de las métricas citadas:

• Qwen3-1.7B, recalibración de ThinkBit: 46,7 en MATH-500
• Qwen3-1.7B, EfficientQAT con los mismos datos: 30,0
• Qwen3-1.7B, ThinkBit tras QAT con trazas de razonamiento: 73,0
• Tamaño de Qwen3-1.7B en ThinkBit: 0,52 GB, menos que cualquier GGUF de 2 bits publicado
• Qwen3-14B, ThinkBit: 3,74 GB, 94,8 en MATH-500
• Qwen3-14B, bfloat16: 29,5 GB, 97,5 en MATH-500

La compresión real del modelo de 14B es de aproximadamente 7,9 veces, cerca del techo teórico de 8 veces al pasar de 16 a 2 bits. El método escala de 1,7B a 14B sin perder su lógica general.

Qué obtienen quienes ejecutan los modelos por su cuenta

Un modelo con razonamiento sólido de 3,74 GB cabe en una tarjeta gráfica de 8 GB con margen para el KV-cache. Antes, esta clase de tareas exigía tarjetas de 24–32 GB. Para la ejecución local y para los servicios con generación larga, supone un ahorro directo: menos memoria por réplica, más réplicas en la misma tarjeta y mayor rendimiento.

Al evaluar modelos cuantizados propios, conviene añadir al conjunto de pruebas tareas de razonamiento como MATH-500 y no comparar solo la perplejidad. Los resultados de 1,7B muestran lo fácil que es que las métricas diverjan: la brecha entre 30,0 y 46,7 con un tamaño similar probablemente no la habría mostrado la perplejidad. Por ahora no hay modelos, datasets ni Space asociados al artículo, así que los resultados habrá que reproducirlos a partir de la descripción del método.