NVIDIA comprime Kimi K3.1 Pro a 4 bits: los pesos de 2,8 billones de parámetros ocupan unos 1,4 TB
NVIDIA ha subido a Hugging Face Kimi K3.1 Pro, de Moonshot AI, en formato NVFP4: una codificación de los pesos en 4 bits en lugar de los habituales 16. El modelo es enorme: 2,8 billones de parámetros, de los cuales 104.000 millones trabajan en cada token. Es como un envasado al vacío: el contenido es prácticamente el mismo, pero los pesos ocupan unos 1,4 TB en vez de 5,6 TB. Para el autoalojamiento, esto reduce notablemente el listón de memoria, aunque la calidad debe comprobarse en tus propias tareas.
Procesado por IA desde TG: @cgevent (Метаверсище и ИИще); editado por Hamidun News
Los modelos abiertos de gran tamaño suelen topar con un problema básico: simplemente no hay dónde ejecutarlos. Los pesos de varios terabytes no caben en un servidor corriente, y pocos pueden permitirse un clúster de GPU para alojarlos. Por eso la publicación de NVIDIA en Hugging Face merece atención: la compañía ha subido Kimi K3.1 Pro, de Moonshot AI, en formato NVFP4, un empaquetado de los pesos en 4 bits en lugar de los 16 bits estándar. Según una estimación aproximada, los pesos de este modelo de 2,8 billones de parámetros ocupan unos 1,4 TB en lugar de 5,6 TB.
Qué se ha publicado exactamente
Según la tarjeta del modelo, Kimi K3.1 Pro es un modelo multimodal con arquitectura Mixture of Experts (MoE, «mezcla de expertos»). Tiene 2,8 billones de parámetros en total, pero solo se activan 104.000 millones para procesar cada token. Imagínese una biblioteca enorme donde, para cada pregunta, se abren solo unas cuantas estanterías en lugar de hojear todos los libros uno por uno. El modelo acepta texto e imágenes, y el límite de contexto declarado es de 1.048.576 tokens, es decir, en torno a un millón.
La versión fue preparada por la propia NVIDIA con la herramienta NVIDIA Model Optimizer. Según la descripción, el objetivo del formato es reducir el volumen de los pesos para que el modelo sea más fácil de desplegar en hardware propio.
Qué aporta NVFP4 en la práctica
La cuantización consiste en almacenar cada número con menos bits. Normalmente, cada parámetro ocupa 16 bits. NVFP4 es un formato de coma flotante de 4 bits de NVIDIA: los valores se agrupan en pequeños bloques y cada bloque tiene su propio factor de escala. Esto ayuda a conservar más precisión con un empaquetado tan denso.
Hagamos cuentas aproximadas:
- 16 bits: 2,8 billones de parámetros, unos 5,6 TB solo para los pesos.
- 8 bits: unos 2,8 TB.
- 4 bits: alrededor de 1,4 TB.
Es una estimación sin contar los factores de escala ni los datos auxiliares, así que el tamaño real de los ficheros será algo mayor. Aun así, la diferencia de casi cuatro veces frente a 16 bits responde directamente a cuántas GPU hay que comprar o alquilar. Conviene matizar un punto: aunque un MoE activa menos parámetros, todos los expertos deben estar en memoria; de lo contrario, habría que cargarlos desde disco sobre la marcha. El ahorro procede del tamaño de todos los pesos, no de los 104.000 millones activos.
Qué conviene comprobar antes de arrancarlo
La publicación original no incluye mediciones de calidad ni de velocidad, así que todavía es pronto para juzgar cuánta precisión ha perdido el modelo tras la compresión. Cualquier cuantización es un compromiso, y 4 bits en un modelo de este tamaño debe validarse con tus propias tareas: código, documentos largos, trabajo con imágenes.
Quedan otras cuestiones prácticas:
- Memoria para el contexto. Los pesos son solo una parte del consumo. Si se usa de verdad el contexto de un millón de tokens, se necesita memoria adicional para la caché de cálculo, y cuantizar los pesos no la reduce.
- Hardware. NVFP4 se diseñó pensando en las GPU de NVIDIA de nueva generación. En tarjetas más antiguas, la ganancia de memoria puede no traducirse en ganancia de velocidad; consulta la documentación.
- Herramientas de inferencia. Revisa en la tarjeta qué motores de inferencia soportan esta versión y qué versiones necesitan.
- Licencia. Las condiciones de uso figuran en la tarjeta del modelo; en caso de uso comercial, conviene leerlas antes de desplegarlo.
Por qué importa
Para los equipos que construyen agentes y quieren mantener el modelo en sus propias instalaciones, ya sea por requisitos de datos o por el coste de la API, el lanzamiento muestra una tendencia: el fabricante de hardware prepara él mismo versiones comprimidas de grandes modelos abiertos. Esto reduce la barrera de entrada, pero no sustituye al trabajo de validación. Primero, ejecuta la versión en tus propias pruebas y compárala con una alternativa más ligera; después, calcula el coste de propiedad. Si la calidad en tus tareas es suficiente, la versión de 4 bits de un modelo de esta escala puede resultar bastante más barata de operar que la versión completa.
- 21 nov 2026El modelo de vídeo AURA 2.0 inicia la conversación por sí mismo: la respuesta suena a los 344 ms
- 21 nov 2026Anthropic logra una OPV récord de 81.300 millones de dólares, pero el control sigue en manos de los fundadores
- 21 nov 2026ONNX Runtime desaparece de GitHub: Microsoft oculta los repositorios tras el ataque a un paquete
- 21 nov 2026Microsoft permitirá a las empresas ajustar los modelos MAI con sus propios datos en Azure
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se ha publicado exactamente?
Según la tarjeta del modelo, Kimi K3.1 Pro es un modelo multimodal con arquitectura Mixture of Experts (MoE, «mezcla de expertos»). Tiene 2,8 billones de parámetros en total, pero solo se activan 104.000 millones para procesar cada token. Imagínese una biblioteca enorme donde, para cada pregunta, se abren solo unas cuantas estanterías en lugar de hojear todos los libros uno por uno. El modelo acepta texto e imágenes, y el límite de contexto declarado es de 1.048.576 tokens, es decir, en torno a un millón.
¿Qué se sabe sobre Qué aporta NVFP4 en la práctica?
La cuantización consiste en almacenar cada número con menos bits. Normalmente, cada parámetro ocupa 16 bits. NVFP4 es un formato de coma flotante de 4 bits de NVIDIA: los valores se agrupan en pequeños bloques y cada bloque tiene su propio factor de escala. Esto ayuda a conservar más precisión con un empaquetado tan denso. Hagamos cuentas aproximadas: 16 bits: 2,8 billones de parámetros, unos 5,6 TB solo para los pesos. 8 bits: unos 2,8 TB. 4 bits: alrededor de 1,4 TB.
¿Qué se sabe sobre Qué conviene comprobar antes de arrancarlo?
La publicación original no incluye mediciones de calidad ni de velocidad, así que todavía es pronto para juzgar cuánta precisión ha perdido el modelo tras la compresión. Cualquier cuantización es un compromiso, y 4 bits en un modelo de este tamaño debe validarse con tus propias tareas: código, documentos largos, trabajo con imágenes. Quedan otras cuestiones prácticas: Memoria para el contexto. Los pesos son solo una parte del consumo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.