Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
LanzamientoAnálisis · En radarX: @simplifyinAI→ original

Microsoft lanza un modelo de 100.000 millones de parámetros que funciona en una sola CPU: respuestas hasta 6,17 veces más rápidas

Microsoft ha publicado bitnet.cpp, un software de código abierto que ejecuta modelos de lenguaje en un procesador convencional, sin tarjeta gráfica. La clave está en los modelos de 1 bit: cada peso solo vale −1, 0 o +1, así que la multiplicación pesada se sustituye por sumas. Las respuestas llegan hasta 6,17 veces más rápido y la energía consumida baja hasta un 82,2%. Para asistentes locales sin GPU es una oportunidad, pero el modelo tiene que entrenarse desde el principio en formato de 1 bit.

Procesado por IA desde X: @simplifyinAI; editado por Hamidun News
Microsoft lanza un modelo de 100.000 millones de parámetros que funciona en una sola CPU: respuestas hasta 6,17 veces más rápidas
Fuente: X: @simplifyinAI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalX: @simplifyinAI ↗
Editor jefe
Dato clave #1Un modelo de 100.000 millones de parámetros funciona en una sola CPU a 5–7 tokens por segundo
En chips ARM la mejora es más modestauna aceleración de 1,37–5,07 veces
Dato clave #3El código es abierto, pero todavía no existen modelos de 100B en formato de 1 bit listos para usar

Para ejecutar un gran modelo de lenguaje en local, normalmente hay que comprar una tarjeta gráfica cara y con mucha memoria. Microsoft ha mostrado otro camino: el framework de código abierto bitnet.cpp ejecuta modelos en una CPU convencional, la misma que lleva un portátil o un servidor.

Según la compañía, así se puede ejecutar incluso un modelo de 100.000 millones de parámetros (100B), es decir, con cien mil millones de ajustes internos que determinan cómo «piensa» el modelo. La velocidad de inferencia, es decir, de generación de la respuesta, aumenta hasta 6,17 veces frente a las implementaciones habituales, mientras que el consumo eléctrico del procesador baja hasta un 82,2%.

Todo esto funciona solo con modelos especiales de 1 bit, y a continuación explicamos qué significa eso.

Cómo funciona, en pocas palabras

En una red neuronal convencional, cada peso es un número de coma flotante que ocupa 16 bits. Para generar una respuesta, el procesador multiplica miles de millones de estos números. Es una operación pesada y costosa en energía.

En los modelos de la familia BitNet, un peso solo puede tomar uno de tres valores: −1, 0 o +1. Formalmente, eso equivale a unos 1,58 bits por peso, por eso se les llama modelos de 1 bit. Imagine un contable que, en lugar de multiplicar cifras complejas, solo tiene que sumar, restar o saltarse un número. Trabaja más rápido y necesita mucho menos papel, es decir, mucha menos memoria.

bitnet.cpp es un conjunto de núcleos optimizados para esta aritmética. Hay versiones para x86 (procesadores Intel y AMD) y para ARM (chips de Apple y smartphones).

Qué dicen las cifras

Según datos de Microsoft, en procesadores x86 la inferencia se acelera entre 2,37 y 6,17 veces frente a las implementaciones habituales, y el consumo energético se reduce entre un 71,9% y un 82,2%. En ARM la mejora es más modesta: una aceleración de 1,37 a 5,07 veces y un ahorro de energía del 55,4% al 70%. En la publicación que circuló en redes sociales solo se citan los máximos: «hasta 6,17 veces» y «hasta un 82,2%». El resultado real depende del procesador y del tamaño del modelo.

La cifra más llamativa es la de un modelo de 100.000 millones de parámetros en una sola CPU. Según la descripción del proyecto, la velocidad en ese caso es de 5 a 7 tokens por segundo, más o menos la velocidad a la que lee una persona. Para un chat o un asistente local, donde nadie busca milisegundos, es suficiente.

Qué limitaciones tiene

Aquí hace falta una aclaración importante. El formato de 1 bit no puede aplicarse a cualquier modelo ya entrenado, como Llama o Qwen: si se comprime un modelo de esa forma después del entrenamiento, la calidad cae mucho. El modelo tiene que entrenarse desde el principio con la restricción sobre los pesos, como BitNet b1.58. Estos modelos existen, pero son pequeños: por ejemplo, BitNet b1.58 2B4T, de 2.000 millones de parámetros.

La demostración con 100B, según se sabe, se hizo con un modelo con la arquitectura adecuada, no con un modelo entrenado que pueda usarse de inmediato. Todavía no existe un modelo de 1 bit de ese tamaño, comparable en calidad a los mejores LLM abiertos. Por ahora, bitnet.cpp demuestra que la infraestructura está lista, pero los modelos grandes y «inteligentes» que la aprovechen todavía hay que entrenarlos.

Qué pueden hacer los desarrolladores

Si desarrolla asistentes locales, aplicaciones sin conexión o funciones de IA integradas para dispositivos sin GPU, tiene sentido probar bitnet.cpp con modelos BitNet pequeños y medir la velocidad y la calidad en su propio hardware.

Si calcula los costes de la inferencia en la nube, conviene seguir esta línea. Cuando los grandes laboratorios empiecen a publicar modelos de 1 bit, parte de las tareas podrá pasar de clústeres de GPU a servidores convencionales. Por ahora, es una tecnología prometedora, no un sustituto ya disponible de los modelos habituales.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona, en pocas palabras?

En una red neuronal convencional, cada peso es un número de coma flotante que ocupa 16 bits. Para generar una respuesta, el procesador multiplica miles de millones de estos números. Es una operación pesada y costosa en energía. En los modelos de la familia BitNet, un peso solo puede tomar uno de tres valores: −1, 0 o +1. Formalmente, eso equivale a unos 1,58 bits por peso, por eso se les llama modelos de 1 bit.

¿Qué se sabe sobre Qué dicen las cifras?

Según datos de Microsoft, en procesadores x86 la inferencia se acelera entre 2,37 y 6,17 veces frente a las implementaciones habituales, y el consumo energético se reduce entre un 71,9% y un 82,2%. En ARM la mejora es más modesta: una aceleración de 1,37 a 5,07 veces y un ahorro de energía del 55,4% al 70%. En la publicación que circuló en redes sociales solo se citan los máximos: «hasta 6,17 veces» y «hasta un 82,2%». El resultado real depende del procesador y del tamaño del modelo.

¿Qué se sabe sobre Qué limitaciones tiene?

Aquí hace falta una aclaración importante. El formato de 1 bit no puede aplicarse a cualquier modelo ya entrenado, como Llama o Qwen: si se comprime un modelo de esa forma después del entrenamiento, la calidad cae mucho. El modelo tiene que entrenarse desde el principio con la restricción sobre los pesos, como BitNet b1.58. Estos modelos existen, pero son pequeños: por ejemplo, BitNet b1.58 2B4T, de 2.000 millones de parámetros.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…