BitNet b1.58: cómo la cuantización ternaria permite ejecutar un modelo de 27B sin GPU

Hace unos años, la idea de ejecutar un modelo de 27B parámetros en un portátil corriente sin GPU parecía un disparate. Entre 2024 y 2025 se ha hecho realidad gracias a una cuantización poco convencional: en lugar de aproximar los pesos, la red se construye literalmente sobre dos o tres valores discretos.

Qué es la cuantización no convencional

La cuantización habitual reduce la precisión de los pesos en la escala float32 → INT8 → INT4 → INT2 y conserva un rango numérico continuo. El enfoque no convencional es más radical: los pesos solo pueden tomar los valores {-1, 0, 1}. Es lo que se conoce como cuantización ternaria. Microsoft Research desarrolló la familia BitNet, en la que cada peso ocupa de media 1.58 bits.

• BitNet: arquitectura con pesos de 1 bit durante el entrenamiento, propuesta por Microsoft Research en 2023
• BitNet b1.58: versión ternaria con pesos {-1, 0, 1}, de media 1.58 bits por parámetro, publicada en marzo de 2024
• Gemma 27B en formato ternario ocupa 6–7 GB y funciona en un portátil solo con CPU
• llama.cpp admite formatos GGUF de 1 bit desde marzo de 2024
• Las multiplicaciones se sustituyen por sumas y restas, sin carga para las unidades de coma flotante del procesador

Por qué no es lo mismo que INT4

La cuantización INT4 clásica es una compresión posterior al entrenamiento: el modelo float32 ya terminado se «aprieta» después de entrenarlo, y la calidad baja inevitablemente, sobre todo en tamaños pequeños. La cuantización no convencional funciona de otra manera: la red se entrena desde el principio para que sus pesos se sitúen en posiciones discretas. Esto cambia de forma sustancial la naturaleza de las pérdidas.

«Un modelo con pesos {-1, 0, 1}, bien entrenado, es comparable en perplexity a su equivalente de precisión completa y requiere entre 3 y 5 veces menos memoria RAM», afirma el informe técnico de

Microsoft Research sobre BitNet b1.58.

Según los benchmarks abiertos, la diferencia con la línea base en float16 para modelos desde 7B es del 1–3% en la mayoría de las tareas. Es un precio aceptable para que el modelo quepa en la RAM de un portátil corriente.

Qué se puede ejecutar ya en un portátil

El ejemplo más claro son los modelos de la clase 27B en un MacBook con 32 GB de memoria unificada o en un portátil con Windows y un procesador convencional, sin GPU dedicada. La velocidad de generación en un Apple M2 Pro para un modelo ternario de 27B ronda los 10–15 tokens por segundo, suficiente para la mayoría de las tareas prácticas.

Matiz importante: la cuantización no convencional rinde mejor en modelos entrenados desde cero en el modo correspondiente. Convertir a ternario a posteriori un modelo ya hecho, como Llama 3, sin una caída apreciable de calidad es difícil: hace falta reentrenamiento o destilación mediante un profesor ternario.

Qué significa

La cuantización ternaria y de 1 bit desplaza la frontera de la accesibilidad: los modelos de lenguaje completos de 27B o más dejan de exigir hardware de servidor. Para los escenarios corporativos con requisitos de confidencialidad de datos, esto es especialmente relevante: la inferencia local, sin nube, pasa a ser viable técnica y económicamente.

Preguntas frecuentes

¿Cómo ejecutar un modelo ternario sin GPU?

Los modelos ternarios y de 1 bit en formato GGUF se ejecutan con llama.cpp en un procesador corriente. Bastan entre 16 y 32 GB de memoria RAM para modelos de 7B a 27B; no se necesita GPU.

¿En qué se diferencia BitNet b1.58 de la cuantización INT4?

BitNet b1.58 se entrena con pesos ternarios desde el principio, en lugar de obtenerlos mediante compresión posterior al entrenamiento. Eso ofrece una calidad más predecible y elimina por completo las operaciones de multiplicación de la inferencia.