Concertina pliega Qwen3-4B como un acordeón: un 43% menos de tamaño y el 84% de la calidad original
Los autores no eliminaron capas de Qwen3-4B, sino que las plegaron por pares, como un acordeón: un único bloque compartido sustituye a dos capas vecinas y se ejecuta dos veces. El modelo pasa de 4,02 a 2,27 mil millones de parámetros (un 43% menos) y conserva cerca del 84% de la calidad del original. Al reentrenamiento le bastaron 22 mil millones de tokens, y en seis de las ocho pruebas el modelo supera a Qwen3-1.7B, que se entrenó con 36 billones. El ahorro, por ahora, es solo de memoria: la velocidad no se ha medido.
Procesado por IA desde Habr AI; editado por Hamidun News
Un modelo de lenguaje pequeño suele obtenerse de dos maneras: se entrena desde cero con un corpus gigantesco o se recortan capas de uno grande con la esperanza de que no pierda capacidad. Lo primero cuesta una fortuna; lo segundo perjudica la calidad. Un grupo de investigadores propone una tercera vía llamada Concertina: las capas de Qwen3-4B no se descartan, sino que se pliegan por pares, como el fuelle de una concertina.
El resultado es un modelo que pasa de 4,02 a 2,27 mil millones de parámetros (un 43% menos), conserva cerca del 84% de la calidad de la Qwen3-4B original (es la media de ocho pruebas: la puntuación del modelo «comprimido» dividida entre la del profesor) y solo necesitó 22 mil millones de tokens de destilación. Si su modelo no cabe en la memoria de un portátil, un móvil o una GPU económica, el resultado merece un análisis más detallado.
Cómo plegar un modelo como un acordeón
Los autores del artículo «Folding Language Models into Themselves» partieron de Qwen3-4B. Sustituyeron cada par de capas vecinas por un único bloque compartido, que se ejecuta dos veces seguidas. Las matrices compartidas proceden de la primera capa del par y la profundidad de la red no cambia: 36 capas, es decir, 18 bloques únicos con dos pasadas cada uno.
Imagine que dos empleados contiguos hacen casi el mismo trabajo. En lugar de mantener dos puestos, contrata a uno y le pide que haga la tarea dos veces, aunque en la segunda con un pequeño ajuste. Los autores calculan ese ajuste a partir de la diferencia entre las capas originales: toman una aproximación comprimida de rango 64 (SVD truncada) y una puerta (gate) específica para cada token decide en qué medida aplicarla. Las normalizaciones RMSNorm de cada pasada siguen siendo propias.
Una vez montado, el modelo «estudiante» resultante se destila a partir de la propia Qwen3-4B; es decir, se le enseña a repetir las respuestas del modelo original. Este proceso consumió 22 mil millones de tokens.
Qué mostraron las pruebas
Se compararon el profesor Qwen3-4B, el modelo Qwen3-1.7B (entrenado con 36 billones de tokens, unas 1 600 veces más datos) y Concertina-2,27B.
Concertina supera a Qwen3-1.7B en seis de los ocho indicadores: la media de las siete pruebas base, base-7 (58,0% frente a 56,2%), MMLU-Pro (30,1% frente a 29,7%), GPQA, con preguntas de nivel de posgrado (30,8% frente a 29,3%), BBH, de lógica compleja (40,0% frente a 36,3%), GSM8K, de matemáticas escolares (78,8% frente a 71,0%) y MATH (49,8% frente a 46,0%). En MMLU (55,6% frente a 55,7%) y MMLU-Redux (58,7% frente a 59,1%) queda por detrás por un margen mínimo. Al profesor Qwen3-4B no lo alcanza en ninguna prueba: por ejemplo, el profesor logra 63,0% en base-7 y 87,9% en GSM8K.
La proporción media de calidad del profesor, según el cálculo a partir de la tabla, es del 84%, como afirman los autores. Las tareas de razonamiento son las que mejor se mantienen: cerca del 90% en base-7 y GSM8K. El conocimiento y las preguntas difíciles pierden más: MMLU-Pro y BBH se sitúan entre el 75% y el 80% del profesor.
Qué se ahorra y qué no
El peso del modelo en bf16 baja de 8,0 a 4,5 GB. En los dispositivos donde el cuello de botella es la memoria para los pesos, la ventaja es inmediata: un modelo que antes no cabía ahora entra.
Pero el resto es más complicado. La profundidad efectiva sigue siendo de 36 capas, así que la KV-cache es igual que la de Qwen3-4B. Probablemente el cálculo por token también sea aproximadamente el mismo, ya que cada bloque compartido se ejecuta dos veces. La ficha del modelo no incluye mediciones de velocidad ni de rendimiento (throughput), de modo que, para la inferencia en servidor, donde importan la velocidad y la caché, por ahora no hay forma de confirmar el beneficio.
El propio lanzamiento también tiene salvedades. El repositorio tiene dos commits y un único checkpoint: no hay otros tamaños de grupo de capas ni otros rangos de ajuste. El método se ha demostrado en un solo modelo y se desconoce cómo se trasladará a otras familias. El código es breve: las funciones fold_model y distill_loss y una autoprueba en CPU. Los pesos están en Hugging Face con licencia Apache 2.0, igual que la Qwen3-4B original.
Qué hacer con esto
Si despliega modelos en dispositivos edge o necesita ahorrar memoria de vídeo, conviene descargar el checkpoint y probarlo con sus propias tareas, sobre todo en las que requieren razonamiento y matemáticas más que conocimiento enciclopédico. Lo principal que debe medir por su cuenta son los tokens/sec reales en su GPU en comparación con la Qwen3-4B estándar. Si la velocidad no aumenta, Concertina seguirá siendo una forma de hacer el modelo más compacto en memoria, pero no más rápido. La idea, en cualquier caso, es reveladora: 22 mil millones de tokens de destilación frente a 36 billones de tokens de entrenamiento completo indican que comprimir un modelo ya entrenado puede resultar bastante más barato que criar uno pequeño desde cero.
- 2 may 2026Ejecutar redes neuronales grandes en local: la memoria se comprime 14 veces
- 8 nov 2026REAP20 acelera un Qwen local un 42 % sin perder precisión en DS1000
- 12 nov 2026Nous Research ajusta Qwen3.8-27B: la propaganda en las respuestas baja al 0,9 % desde el 22 %
- 27 oct 2026El texto en nepalí "pesaba" tres veces más que el inglés: el arreglo del tokenizador no logró solucionarlo del todo
Preguntas frecuentes sobre la noticia
Cómo plegar un modelo como un acordeón?
Los autores del artículo «Folding Language Models into Themselves» partieron de Qwen3-4B. Sustituyeron cada par de capas vecinas por un único bloque compartido, que se ejecuta dos veces seguidas. Las matrices compartidas proceden de la primera capa del par y la profundidad de la red no cambia: 36 capas, es decir, 18 bloques únicos con dos pasadas cada uno. Imagine que dos empleados contiguos hacen casi el mismo trabajo.
¿Qué se sabe sobre Qué mostraron las pruebas?
Se compararon el profesor Qwen3-4B, el modelo Qwen3-1.7B (entrenado con 36 billones de tokens, unas 1 600 veces más datos) y Concertina-2,27B. Concertina supera a Qwen3-1.7B en seis de los ocho indicadores: la media de las siete pruebas base, base-7 (58,0% frente a 56,2%), MMLU-Pro (30,1% frente a 29,7%), GPQA, con preguntas de nivel de posgrado (30,8% frente a 29,3%), BBH, de lógica compleja (40,0% frente a 36,3%), GSM8K, de matemáticas escolares (78,8% frente a 71,0%) y MATH (49,8% frente a 46,0%).
¿Qué se sabe sobre Qué se ahorra y qué no?
El peso del modelo en bf16 baja de 8,0 a 4,5 GB. En los dispositivos donde el cuello de botella es la memoria para los pesos, la ventaja es inmediata: un modelo que antes no cabía ahora entra. Pero el resto es más complicado. La profundidad efectiva sigue siendo de 36 capas, así que la KV-cache es igual que la de Qwen3-4B. Probablemente el cálculo por token también sea aproximadamente el mismo, ya que cada bloque compartido se ejecuta dos veces.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.