Nullify elimina conocimiento de los LLM sin reentrenar: vectores en el null-space

Un equipo de investigadores ha publicado en arXiv el preprint de Nullify, un método de desaprendizaje de grandes modelos de lenguaje que no necesita ni un solo paso de reentrenamiento. En lugar de modificar los pesos, añade vectores de steering a las activaciones durante la inferencia y aleja las representaciones internas de las consultas privadas de las respuestas memorizadas. Según los resultados en dos benchmarks, TOFU y MUSE, Nullify no es peor que los métodos establecidos en calidad de olvido, y la utilidad del modelo se mantiene casi sin pérdidas. El preprint apareció el 9 de octubre de 2026 en la sección cs.LG.

Problema: olvidar es caro y la utilidad es frágil

Durante el preentrenamiento, los LLM absorben inevitablemente datos personales, textos cerrados y otra información sensible. El desaprendizaje (unlearning) debe borrar de forma selectiva ese conocimiento para que el modelo no lo revele al ser consultado. Reentrenar desde cero sin los datos problemáticos resulta demasiado caro, así que en la práctica se recurre al reentrenamiento con modificación de pesos. Este enfoque tiene dos inconvenientes conocidos. Exige cómputo y datos. Y rompe con facilidad capacidades vecinas: basta con que el modelo «olvide» a un autor para que empiece a confundirse en preguntas relacionadas. Los autores de Nullify señalan explícitamente que el equilibrio entre calidad del olvido y utilidad es el principal cuello de botella de los métodos actuales.

Cómo funciona Nullify

La idea se basa en el activation steering. En la inferencia se suma a las activaciones ocultas un vector elegido específicamente. Ese vector desplaza la representación de una consulta relacionada con información privada para que el modelo no llegue a la respuesta memorizada. Los pesos permanecen intactos.

El detalle clave es la restricción de null-space. El vector se construye de modo que las activaciones de las consultas que el modelo debe seguir procesando con normalidad (retained queries) apenas cambien, según describen los autores. Es decir, el desplazamiento se dirige a un subespacio en el que las consultas «permitidas» casi no lo notan. Es un intento de resolver el principal problema de cualquier steering: la intervención en las activaciones suele afectar a todo, no solo al conocimiento objetivo.

Qué mostraron TOFU y MUSE

TOFU es un benchmark basado en perfiles sintéticos de autores ficticios, donde se sabe que el modelo solo pudo aprender cierta información a partir de un conjunto de datos concreto. MUSE evalúa el desaprendizaje sobre corpus reales: noticias y libros. Juntos ofrecen una visión tanto de escenarios controlados como de otros más cercanos a la práctica.

Resultados según el resumen:

• Tipo de método: training-free, sin actualización de pesos.
• Mecanismo: vectores de steering aplicados en la inferencia.
• Protección de la utilidad: restricción de null-space para las consultas retained.
• Calidad del olvido: al nivel de los métodos baseline establecidos o por encima.
• Conservación de la utilidad: cercana a cero pérdidas.
• Formato de despliegue: capa plug-and-play sobre un modelo ya entrenado.

El resumen no aporta cifras concretas, así que habrá que verificar la magnitud de la ventaja sobre los baselines en las tablas de la versión completa del artículo.

Dónde aplicarlo y dónde está la trampa

Para los equipos que mantienen un LLM en producción y reciben solicitudes de eliminación de datos, el enfoque parece cómodo. No hace falta lanzar un reentrenamiento en GPU con cada solicitud ni almacenar varias versiones de los pesos, y el conjunto de vectores puede activarse y desactivarse como una configuración. Esto es especialmente relevante en cuestiones legales como el derecho al olvido, donde se necesita una respuesta rápida.

Sin embargo, hay preguntas que el resumen no responde y que conviene comprobar antes de desplegarlo. En primer lugar, el conocimiento sigue estando en los pesos. Se trata de una redirección de la respuesta, no de un borrado físico, y quien tenga acceso al modelo puede retirar la intervención. Con pesos abiertos, la protección es, en la práctica, solo nominal. En segundo lugar, no está clara la robustez frente a paráfrasis, preguntas de varios pasos y ataques dirigidos de extracción de datos. En tercer lugar, hay que ver cómo crece el número de vectores cuando hay muchas solicitudes de eliminación y si se acumulan efectos secundarios.

La conclusión es esta: Nullify conviene considerarlo una capa rápida de protección para despliegues cerrados mediante API, y no un sustituto del desaprendizaje real. Si verificaciones independientes confirman los resultados, el método cubrirá un nicho importante entre el costoso reentrenamiento y los filtros toscos en la salida.