Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
IndustriaPaper científico · Para I+DHacker News AI→ original

Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño

Para ejecutar en casa el modelo grande Qwen3.8-27B, sus pesos se comprimen a 2–6 bits, y la calidad cae. El equipo de Unsloth lanzó la actualización Dynamic v3.1: en benchmarks como Terminal Bench 2.1 y DeepSWE, las versiones comprimidas responden un 5–10% con más precisión con el mismo tamaño de archivo. La versión de 4 bits cabe en 16–19 GB de memoria de vídeo: basta con una RTX 4090 o con un Mac de 24 GB. Si ejecutas el modelo en local para código y agentes, conviene volver a descargar los pesos.

Procesado por IA desde Hacker News AI; editado por Hamidun News
Unsloth actualizó los Qwen3.8-27B comprimidos: la precisión sube un 5–10% con el mismo tamaño
Fuente: Hacker News AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHacker News AI ↗
Editor jefe
Las versiones de 3 bits no se tocaronla antigua UD3 dio un resultado al nivel de UD3.1
Unsloth cuestionó la prueba de ISTAtiene 14 ejecuciones de AIME25 frente a una sola
Dato clave #3NVFP4 en tarjetas gráficas Blackwell es 1,5 veces más rápido que BF16

Qwen3.8-27B es un modelo de Qwen de 27.000 millones de parámetros que escribe bien código, trabaja como agente en la terminal, entiende imágenes y mantiene conversaciones.

En precisión completa pesa decenas de gigabytes y no cabe en la memoria de una tarjeta gráfica normal. Por eso se comprime: cada peso se almacena no en 16 bits, sino en 2–6. Es como un JPEG para una fotografía: el archivo es más pequeño, pero se pierden detalles.

El equipo de Unsloth fabrica estas versiones comprimidas y, en la actualización Dynamic v3.1, afirma que, con el mismo tamaño de archivo, la precisión media en la mayoría de benchmarks subió un 5–10% respecto a sus versiones anteriores. Para quien ejecuta el modelo en su propio equipo, eso significa la misma cantidad de memoria y respuestas de mejor calidad.

Qué cambió en Dynamic v3.1

La actualización se publicó el 11 de noviembre de 2026. La nueva versión del algoritmo de compresión afectó a casi todas las variantes de 2 a 6 bits. La excepción son las UD3 de 3 bits: en ellas UD3.1 apenas aportó mejora, y el equipo decidió no cambiarlas.

Las pruebas se hicieron con las tareas de agente Terminal Bench 2.1 y DeepSWE v1.1, y también con LiveCodeBench v6, GPQA Diamond, MMLU-Pro y AIME25. En las pruebas de agente el contexto era de 256K tokens; en las demás, de 128K. Los parámetros de generación fueron temperature 1.0, top_p 0.95, top_k 20, con las razonamientos conservados y el máximo nivel de reasoning.

Para la práctica, lo más importante son los requisitos de hardware. La versión de 4 bits funciona con 16–19 GB de memoria de vídeo: sirven una RTX 5080, una RTX 4090 o un Mac de 24 GB de memoria. La regla de los autores es que la suma de la memoria RAM y la memoria de vídeo debe aproximarse al tamaño de la versión elegida. Si no alcanza, el modelo arrancará igualmente, pero será notablemente más lento, porque parte de los datos deberá cargarse desde el disco. Conviene además dejar un margen de 1–2 GB.

La disputa con ISTA sobre cómo medir la precisión de forma honesta

Una parte separada del material es la polémica con el método competidor GSQ-RCO de ISTA. En la comparación de ISTA, las antiguas compresiones de Unsloth salían peor en LiveCodeBench. Unsloth obtuvo el resultado contrario: UD3 supera a ISTA en todos los tamaños, salvo en el más pequeño. Los autores suponen que ISTA midió con un contexto de unos 96K y no de 128K. Con 96K, el método GSQ-RCO sí va algo por delante; con 128K, UD3 gana con claridad.

El segundo ejemplo es AIME25. Según ISTA, las versiones comprimidas conservaban el 100% de la precisión del modelo original en tres de cuatro casos, y el 96,7% en el cuarto. Unsloth considera que solo hubo una ejecución. El propio equipo hizo 14 ejecuciones y obtuvo una conservación media de la precisión del 93–96%, no del 100%. La decodificación voraz (temperature 0) tampoco dio un 100% estable: los cálculos en GPU no son totalmente deterministas y, además, en el trabajo real casi nadie genera así.

La lección práctica para quien compara modelos es que una sola ejecución casi no demuestra nada. Repite la prueba varias veces y con el contexto que vayas a usar en tu producto.

Hay también una salvedad sobre Exllama-v3. Esta biblioteca guarda la tabla de tokens en formato BF16. Unsloth la retiró de los gráficos principales de tamaño, pero reconoce que, en el consumo real de disco y memoria, el panorama es otro. Al elegir una versión, compara el tamaño completo de los archivos.

NVFP4, modos de razonamiento y limitaciones

A los propietarios de tarjetas Blackwell (serie RTX 50, DGX Spark, B200, B300) se les ofrecen versiones NVFP4. Según Unsloth, son 1,5 veces más rápidas que BF16 y conservan entre el 92 y el 97% de las coincidencias con el original en la predicción del token principal (top-1). Al principio solo podían ejecutarse en vLLM; después también funcionó SGLang versión 0.5.19. Para las tarjetas antiguas siguen disponibles los archivos GGUF, que funcionan en llama.cpp y en la aplicación Unsloth Desktop.

Por defecto, el modelo razona al máximo nivel. Para acortar las cadenas de razonamiento y el consumo de tokens, en llama.cpp puede pasarse el parámetro reasoning_effort, por ejemplo medium. Existe también un modo que conserva los razonamientos previos entre réplicas: consume más tokens, pero en conversaciones largas la precisión puede aumentar.

La salvedad principal: todas las cifras son de la propia Unsloth, todavía no hay una verificación independiente y las tablas completas del original se reducen a enlaces. Aun así, los autores detallaron la metodología con suficiente precisión como para que las mediciones puedan repetirse. Si usas Qwen3.8-27B en local para programar o para agentes, actualizar los pesos a v3.1 tiene sentido. Y, de paso, comprueba tu propio escenario con varias ejecuciones, no con un único resultado afortunado.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué cambió en Dynamic v3.1?

La actualización se publicó el 11 de noviembre de 2026. La nueva versión del algoritmo de compresión afectó a casi todas las variantes de 2 a 6 bits. La excepción son las UD3 de 3 bits: en ellas UD3.1 apenas aportó mejora, y el equipo decidió no cambiarlas. Las pruebas se hicieron con las tareas de agente Terminal Bench 2.1 y DeepSWE v1.1, y también con LiveCodeBench v6, GPQA Diamond, MMLU-Pro y AIME25. En las pruebas de agente el contexto era de 256K tokens; en las demás, de 128K.

¿Qué se sabe sobre La disputa con ISTA sobre cómo medir la precisión de forma honesta?

Una parte separada del material es la polémica con el método competidor GSQ-RCO de ISTA. En la comparación de ISTA, las antiguas compresiones de Unsloth salían peor en LiveCodeBench. Unsloth obtuvo el resultado contrario: UD3 supera a ISTA en todos los tamaños, salvo en el más pequeño. Los autores suponen que ISTA midió con un contexto de unos 96K y no de 128K. Con 96K, el método GSQ-RCO sí va algo por delante; con 128K, UD3 gana con claridad. El segundo ejemplo es AIME25.

¿Qué se sabe sobre NVFP4, modos de razonamiento y limitaciones?

A los propietarios de tarjetas Blackwell (serie RTX 50, DGX Spark, B200, B300) se les ofrecen versiones NVFP4. Según Unsloth, son 1,5 veces más rápidas que BF16 y conservan entre el 92 y el 97% de las coincidencias con el original en la predicción del token principal (top-1). Al principio solo podían ejecutarse en vLLM; después también funcionó SGLang versión 0.5.19. Para las tarjetas antiguas siguen disponibles los archivos GGUF, que funcionan en llama.cpp y en la aplicación Unsloth Desktop.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…