Al poner a cero menos del 0,05% de los pesos, una LLM grande aprende algo nuevo tan bien como con fine-tuning
Lo habitual para añadir una habilidad es reescribir los pesos. Deletion Tuning, en cambio, solo pone a cero una parte de los existentes: en los modelos más grandes bastó con menos del 0,05% de los parámetros, es decir, menos de 5 de cada 10 000. Lo único que se entrena es una máscara de «conservar o anular» para las capas MLP. La calidad igualó a la del fine-tuning completo y, en las tareas anteriores, la precisión cayó como máximo 1 punto. Por eso un mismo modelo puede cambiar de habilidad con máscaras de unos pocos megabytes.
Procesado por IA desde TG: @gonzo_ML (gonzo-обзоры ML статей); editado por Hamidun News
Imagine que tiene en producción una sola LLM grande, pero sus clientes necesitan habilidades distintas: uno quiere un agente que llame a herramientas y otro, razonamiento paso a paso. Lo habitual es reescribir todos los pesos del modelo (fine-tuning completo) o añadir encima un adaptador pequeño del tipo LoRA. Los investigadores Jack Lu, Mengye Ren y sus colegas proponen una tercera vía, Deletion Tuning: no añadir nada y poner a cero una parte minúscula de los pesos que ya existen.
En los modelos más grandes que probaron bastó con anular menos del 0,05% de los parámetros, es decir, menos de cinco pesos de cada diez mil, y la calidad igualó a la del fine-tuning completo. Para quienes sirven muchas variantes de un mismo modelo, es una idea de ingeniería interesante, aunque todavía está lejos de ser una herramienta lista para usar.
Cómo enseñar a un modelo solo borrando
Piense en un libro de recetas enorme. En lugar de añadir páginas, usted tacha unas cuantas líneas y el cocinero empieza a cocinar de otra manera. El método funciona más o menos así. El modelo original permanece congelado. Lo único que se entrena es una máscara binaria para las proyecciones de compuerta (gate) de los bloques MLP, la parte de la capa que decide qué señales pasan a la siguiente etapa. Para cada peso, la máscara indica «conservar» o «anular». Los pesos conservados no cambian en absoluto.
De este modo, los modelos preentrenados adquieren nuevas habilidades de razonamiento y de uso de herramientas sin que se escriba ningún peso nuevo. Y sus capacidades anteriores no se resienten.
Qué mostraron las mediciones
A gran escala, Deletion Tuning igualó al fine-tuning completo, es decir, al método de adaptación más caro, en el que se actualizan todos los pesos. Los autores comprobaron por separado si el modelo olvida lo anterior. Tras el entrenamiento con refuerzo, la precisión en las tareas previas cayó como máximo 1 punto respecto al modelo base. Un punto equivale, por ejemplo, a pasar del 80% al 79%.
Con los modelos pequeños el resultado es peor: a veces alcanzan solo alrededor del 90% de la precisión de la actualización densa, es decir, del fine-tuning ordinario de todos los pesos. A la vista de esto, el método funciona mejor en redes grandes. Quizá en ellas sea más fácil encontrar pesos que se pueden desactivar sin pérdidas, pero esta es nuestra suposición, no una conclusión de los autores.
Para qué sirve en la práctica
La principal ventaja está en la inferencia, es decir, en el servicio del modelo ya entrenado. Si una habilidad se guarda como una máscara de bits de unos megabytes, un único modelo común en la memoria de la GPU puede cambiar de tarea. Para un cliente se activa la máscara «agente con herramientas»; para otro, la de «razonamiento». Las habilidades anteriores se mantienen. Los autores publicaron el código y las máscaras entrenadas en Hugging Face, de modo que la idea se puede comprobar por cuenta propia.
Salvedades
Primero, la ganancia de tamaño no está garantizada. Los adaptadores de rango 1 en formato bf16 sin comprimir suelen ocupar menos espacio que la máscara. Por eso, como forma de almacenar muchas variantes de un modelo, el método todavía no parece un claro ganador frente a LoRA en compacidad.
Segundo, el propio entrenamiento de la máscara exige bastante más memoria que el de un adaptador pequeño. Para los equipos con una flota limitada de GPU, es un inconveniente serio.
Tercero, el trabajo no probó el ajuste secuencial: la situación en la que un modelo recibe una habilidad, luego una segunda y después una tercera. Y así es justo como suelen trabajar los equipos de producto. No se sabe si las máscaras podrán superponerse unas a otras sin conflictos.
Conclusión
Deletion Tuning sigue siendo, por ahora, un trabajo de investigación y no una herramienta que convenga llevar a producción mañana. Pero muestra que un modelo grande preentrenado ya encierra más capacidades de las que se suele pensar, y que a veces se pueden liberar anulando centésimas de porcentaje de los pesos. Si está construyendo un servicio multitarea sobre un único modelo compartido, vale la pena leer el artículo y revisar el código. Si se resuelven los problemas de memoria durante el entrenamiento y del ajuste secuencial, las máscaras de megabytes podrían convertirse en una alternativa cómoda a los adaptadores.
- 18 nov 2026La posición del token se recuperó al 99% en un transformer NoPE y al 29–42% en RWKV-7
- 18 nov 2026Liquid AI publica LiquidCodec: decodifica voz 2,9 veces más rápido que Mimi
- 18 nov 20261000 agentes de IA escribieron un chatbot sin red neuronal: la tasa de victorias pasó del 0% al 26%
- 18 nov 2026Concertina pliega Qwen3-4B como un acordeón: un 43% menos de tamaño y el 84% de la calidad original
Preguntas frecuentes sobre la noticia
Cómo enseñar a un modelo solo borrando?
Piense en un libro de recetas enorme. En lugar de añadir páginas, usted tacha unas cuantas líneas y el cocinero empieza a cocinar de otra manera. El método funciona más o menos así. El modelo original permanece congelado. Lo único que se entrena es una máscara binaria para las proyecciones de compuerta (gate) de los bloques MLP, la parte de la capa que decide qué señales pasan a la siguiente etapa. Para cada peso, la máscara indica «conservar» o «anular». Los pesos conservados no cambian en absoluto.
¿Qué se sabe sobre Qué mostraron las mediciones?
A gran escala, Deletion Tuning igualó al fine-tuning completo, es decir, al método de adaptación más caro, en el que se actualizan todos los pesos. Los autores comprobaron por separado si el modelo olvida lo anterior. Tras el entrenamiento con refuerzo, la precisión en las tareas previas cayó como máximo 1 punto respecto al modelo base. Un punto equivale, por ejemplo, a pasar del 80% al 79%.
¿Qué se sabe sobre Para qué sirve en la práctica?
La principal ventaja está en la inferencia, es decir, en el servicio del modelo ya entrenado. Si una habilidad se guarda como una máscara de bits de unos megabytes, un único modelo común en la memoria de la GPU puede cambiar de tarea. Para un cliente se activa la máscara «agente con herramientas»; para otro, la de «razonamiento». Las habilidades anteriores se mantienen. Los autores publicaron el código y las máscaras entrenadas en Hugging Face, de modo que la idea se puede comprobar por cuenta propia.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.