Aprendizaje subliminal: ¿recuerdan las redes neuronales lo que deberían haber olvidado?

En artículos anteriores abordamos el aprendizaje subliminal en redes neuronales, y planteamos más preguntas que respuestas. Es hora de profundizar en este fenómeno a partir de nuevos experimentos y del análisis de código. Una de las cuestiones clave en el alineamiento de la IA (AI Alignment) y la seguridad de los grandes modelos de lenguaje (LLM) es esta: ¿son el ajuste fino (fine-tuning) o el aprendizaje por refuerzo con retroalimentación humana (RLHF) un método fiable para eliminar información no deseada o peligrosa incorporada originalmente al modelo?

Los experimentos muestran que el conocido efecto de conectividad de modos (Mode Connectivity) hace prácticamente imposible borrar por completo la información adquirida en el preentrenamiento con un ajuste fino estándar. La clave es que una «huella» estructural (impronta) persiste en la topología de los pesos de la red y puede leerse a través de una especie de canal «subliminal». Incluso con los pesos totalmente descongelados (es decir, con todos los parámetros de la red libres para cambiar) y una regularización L2 agresiva destinada a «olvidar» activamente el conocimiento antiguo, la topología del espacio latente formada en el preentrenamiento se mantiene y sigue influyendo de forma notable en la resolución de la nueva tarea.

La precisión en la reproducción de conocimientos antiguos, aparentemente eliminados, puede alcanzar el 88-99 %.

El efecto de conectividad de modos puede explicarse así: el paisaje de pérdida de una red neuronal (es decir, la función que intenta minimizar durante el entrenamiento) tiene una estructura compleja con muchos mínimos locales. Cada uno corresponde a un «modo», o forma de resolver la tarea. La conectividad de modos significa que esos mínimos están unidos por «caminos» de pérdida relativamente baja, lo que permite al modelo alternar entre distintos regímenes de funcionamiento conservando la estructura general del conocimiento.

Las implicaciones de este hallazgo para la seguridad y la fiabilidad de los LLM son enormes. Si la información no deseada no puede eliminarse por completo, existe el riesgo de que «aflore» en el peor momento, por ejemplo al generar texto, interactuar con un usuario o tomar decisiones. Es especialmente peligroso en modelos usados en áreas críticas como la sanidad, las finanzas o la justicia.

Además, los resultados ponen en duda la eficacia de los métodos actuales de alineamiento de la IA destinados a controlar y dirigir el comportamiento de los LLM. Si un modelo conserva conocimientos ocultos que no se pueden controlar directamente, hay que desarrollar métodos nuevos y mejores que tengan en cuenta este efecto del aprendizaje subliminal.

Una dirección posible es diseñar arquitecturas de redes neuronales más resistentes a retener información no deseada. Otra es desarrollar métodos de ajuste fino más eficaces que no solo adapten el modelo a una nueva tarea, sino que además «olviden» activamente el conocimiento antiguo sin destruir su estructura general.

En conclusión, el estudio del aprendizaje subliminal en redes neuronales subraya que el ajuste fino y el RLHF no son una panacea contra la información no deseada. La impronta estructural en la topología de los pesos persiste y puede activarse. Eso exige nuevos enfoques de alineamiento de la IA que tengan en cuenta este efecto y apunten a crear LLM más seguros y fiables.