En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Concertina pliega Qwen3-4B como un acordeón: un 43% menos de tamaño y el 84% de la calidad original

Los autores no eliminaron capas de Qwen3-4B, sino que las plegaron por pares, como un acordeón: un único bloque compartido sustituye a dos capas vecinas y se ejecuta dos veces. El modelo pasa de 4,02 a 2,27 mil millones de parámetros (un 43% menos) y conserva cerca del 84% de la calidad del original. Al reentrenamiento le bastaron 22 mil millones de tokens, y en seis de las ocho pruebas el modelo supera a Qwen3-1.7B, que se entrenó con 36 billones. El ahorro, por ahora, es solo de memoria: la velocidad no se ha medido.

Procesado por IA desde Habr AI; editado por Hamidun News
Concertina pliega Qwen3-4B como un acordeón: un 43% menos de tamaño y el 84% de la calidad original
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1El peso en bf16 baja de 8,0 a 4,5 GB; la KV-cache se queda igual que en Qwen3-4B
Dato clave #2El razonamiento es lo que mejor se mantiene: cerca del 90% de la calidad del profesor en GSM8K
Dato clave #3Los pesos están abiertos en Hugging Face con licencia Apache 2.0

Un modelo de lenguaje pequeño suele obtenerse de dos maneras: se entrena desde cero con un corpus gigantesco o se recortan capas de uno grande con la esperanza de que no pierda capacidad. Lo primero cuesta una fortuna; lo segundo perjudica la calidad. Un grupo de investigadores propone una tercera vía llamada Concertina: las capas de Qwen3-4B no se descartan, sino que se pliegan por pares, como el fuelle de una concertina.

El resultado es un modelo que pasa de 4,02 a 2,27 mil millones de parámetros (un 43% menos), conserva cerca del 84% de la calidad de la Qwen3-4B original (es la media de ocho pruebas: la puntuación del modelo «comprimido» dividida entre la del profesor) y solo necesitó 22 mil millones de tokens de destilación. Si su modelo no cabe en la memoria de un portátil, un móvil o una GPU económica, el resultado merece un análisis más detallado.

Cómo plegar un modelo como un acordeón

Los autores del artículo «Folding Language Models into Themselves» partieron de Qwen3-4B. Sustituyeron cada par de capas vecinas por un único bloque compartido, que se ejecuta dos veces seguidas. Las matrices compartidas proceden de la primera capa del par y la profundidad de la red no cambia: 36 capas, es decir, 18 bloques únicos con dos pasadas cada uno.

Imagine que dos empleados contiguos hacen casi el mismo trabajo. En lugar de mantener dos puestos, contrata a uno y le pide que haga la tarea dos veces, aunque en la segunda con un pequeño ajuste. Los autores calculan ese ajuste a partir de la diferencia entre las capas originales: toman una aproximación comprimida de rango 64 (SVD truncada) y una puerta (gate) específica para cada token decide en qué medida aplicarla. Las normalizaciones RMSNorm de cada pasada siguen siendo propias.

Una vez montado, el modelo «estudiante» resultante se destila a partir de la propia Qwen3-4B; es decir, se le enseña a repetir las respuestas del modelo original. Este proceso consumió 22 mil millones de tokens.

Qué mostraron las pruebas

Se compararon el profesor Qwen3-4B, el modelo Qwen3-1.7B (entrenado con 36 billones de tokens, unas 1 600 veces más datos) y Concertina-2,27B.

Concertina supera a Qwen3-1.7B en seis de los ocho indicadores: la media de las siete pruebas base, base-7 (58,0% frente a 56,2%), MMLU-Pro (30,1% frente a 29,7%), GPQA, con preguntas de nivel de posgrado (30,8% frente a 29,3%), BBH, de lógica compleja (40,0% frente a 36,3%), GSM8K, de matemáticas escolares (78,8% frente a 71,0%) y MATH (49,8% frente a 46,0%). En MMLU (55,6% frente a 55,7%) y MMLU-Redux (58,7% frente a 59,1%) queda por detrás por un margen mínimo. Al profesor Qwen3-4B no lo alcanza en ninguna prueba: por ejemplo, el profesor logra 63,0% en base-7 y 87,9% en GSM8K.

La proporción media de calidad del profesor, según el cálculo a partir de la tabla, es del 84%, como afirman los autores. Las tareas de razonamiento son las que mejor se mantienen: cerca del 90% en base-7 y GSM8K. El conocimiento y las preguntas difíciles pierden más: MMLU-Pro y BBH se sitúan entre el 75% y el 80% del profesor.

Qué se ahorra y qué no

El peso del modelo en bf16 baja de 8,0 a 4,5 GB. En los dispositivos donde el cuello de botella es la memoria para los pesos, la ventaja es inmediata: un modelo que antes no cabía ahora entra.

Pero el resto es más complicado. La profundidad efectiva sigue siendo de 36 capas, así que la KV-cache es igual que la de Qwen3-4B. Probablemente el cálculo por token también sea aproximadamente el mismo, ya que cada bloque compartido se ejecuta dos veces. La ficha del modelo no incluye mediciones de velocidad ni de rendimiento (throughput), de modo que, para la inferencia en servidor, donde importan la velocidad y la caché, por ahora no hay forma de confirmar el beneficio.

El propio lanzamiento también tiene salvedades. El repositorio tiene dos commits y un único checkpoint: no hay otros tamaños de grupo de capas ni otros rangos de ajuste. El método se ha demostrado en un solo modelo y se desconoce cómo se trasladará a otras familias. El código es breve: las funciones fold_model y distill_loss y una autoprueba en CPU. Los pesos están en Hugging Face con licencia Apache 2.0, igual que la Qwen3-4B original.

Qué hacer con esto

Si despliega modelos en dispositivos edge o necesita ahorrar memoria de vídeo, conviene descargar el checkpoint y probarlo con sus propias tareas, sobre todo en las que requieren razonamiento y matemáticas más que conocimiento enciclopédico. Lo principal que debe medir por su cuenta son los tokens/sec reales en su GPU en comparación con la Qwen3-4B estándar. Si la velocidad no aumenta, Concertina seguirá siendo una forma de hacer el modelo más compacto en memoria, pero no más rápido. La idea, en cualquier caso, es reveladora: 22 mil millones de tokens de destilación frente a 36 billones de tokens de entrenamiento completo indican que comprimir un modelo ya entrenado puede resultar bastante más barato que criar uno pequeño desde cero.

Historia

Preguntas frecuentes sobre la noticia

Cómo plegar un modelo como un acordeón?

Los autores del artículo «Folding Language Models into Themselves» partieron de Qwen3-4B. Sustituyeron cada par de capas vecinas por un único bloque compartido, que se ejecuta dos veces seguidas. Las matrices compartidas proceden de la primera capa del par y la profundidad de la red no cambia: 36 capas, es decir, 18 bloques únicos con dos pasadas cada uno. Imagine que dos empleados contiguos hacen casi el mismo trabajo.

¿Qué se sabe sobre Qué mostraron las pruebas?

Se compararon el profesor Qwen3-4B, el modelo Qwen3-1.7B (entrenado con 36 billones de tokens, unas 1 600 veces más datos) y Concertina-2,27B. Concertina supera a Qwen3-1.7B en seis de los ocho indicadores: la media de las siete pruebas base, base-7 (58,0% frente a 56,2%), MMLU-Pro (30,1% frente a 29,7%), GPQA, con preguntas de nivel de posgrado (30,8% frente a 29,3%), BBH, de lógica compleja (40,0% frente a 36,3%), GSM8K, de matemáticas escolares (78,8% frente a 71,0%) y MATH (49,8% frente a 46,0%).

¿Qué se sabe sobre Qué se ahorra y qué no?

El peso del modelo en bf16 baja de 8,0 a 4,5 GB. En los dispositivos donde el cuello de botella es la memoria para los pesos, la ventaja es inmediata: un modelo que antes no cabía ahora entra. Pero el resto es más complicado. La profundidad efectiva sigue siendo de 36 capas, así que la KV-cache es igual que la de Qwen3-4B. Probablemente el cálculo por token también sea aproximadamente el mismo, ya que cada bloque compartido se ejecuta dos veces.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…