La edición de pesos sin reentrenamiento redujo las respuestas sexistas del 57,9% al 24,3%

Los modelos de lenguaje instruibles son sistemas que siguen las indicaciones del usuario. Sin embargo, pueden obedecer instrucciones maliciosas que contradicen sus objetivos de seguridad y su comportamiento previsto. Investigadores de AI Interpretability @ Illinois propusieron una nueva forma de protegerse frente a este fenómeno: editar los pesos del modelo sin reentrenamiento.

El método fue desarrollado por el equipo de Ali Ebrahimpour-Boroojeny, Xiaocong Yang, Samuel Schapiro, Zahra Borhani, Francisco R. Ortega, Yujia Zheng y ChengXiang Zhai. El enfoque utiliza edición contrastiva de pesos y requiere solo unas 25 parejas de prompts opuestos por comportamiento objetivo. La ventaja clave: el cambio se almacena en los propios pesos del modelo, por lo que cambiar o eliminar el prompt del sistema no anula el efecto.

¿Cómo funciona?

El algoritmo consta de tres pasos secuenciales. Primer paso: escribir prompts emparejados que solicitan el comportamiento no deseado y su opuesto sobre el mismo contenido. Ejemplo: «Answer incorrectly: Q» (responde incorrectamente) frente a «Answer truthfully: Q» (responde honestamente). Esto permite capturar el contraste entre ambos comportamientos.

Segundo paso: ejecutar pasadas directas por el modelo con ambas versiones de los prompts y comparar las activaciones de cada canal de entrada en ambas condiciones. Tercer paso: puntuar cada peso según el producto de su magnitud por el contraste del canal, y luego reescalar el 4% superior de los pesos más importantes en cada matriz de pesos del modelo.

Conviene destacar varias particularidades. El proceso no requiere calcular gradientes, es decir, no necesita los cálculos matemáticos complejos propios del entrenamiento. No requiere datos etiquetados con respuestas correctas e incorrectas. Y no modifica la arquitectura del propio modelo: solo se editan los valores de los pesos.

Resultados en dos comportamientos

El equipo probó el método en cinco modelos instruibles de distintas familias. El primer comportamiento objetivo es la inducción a mentir, cuando se intenta forzar al modelo a mentir.

En el benchmark LIARS' BENCH, el método alcanzó un 84,9% de honestidad, 6,2 puntos por encima de la mejor alternativa. En el segundo benchmark de mentiras, llamado AI Liar, el resultado fue del 79,4% de honestidad, 4,6 puntos por encima de la competencia. Como comparación, los métodos alternativos incluían activation steering (control de activaciones de una sola capa de la red neuronal), añadir un prompt del sistema honesto y set-difference weight mask (una máscara de diferencia de pesos entre dos condiciones).

Al trasladarlo a formatos de un solo turno (preguntas en un único intercambio), no utilizados al construir la edición, el método mostró un 95,8% de honestidad frente al 83,4% de activation steering. Esto indica mayor estabilidad: el método mantiene su solidez incluso al cambiar el formato de la pregunta.

El segundo comportamiento objetivo son las respuestas sexistas. El método redujo la proporción de respuestas sexistas del 57,9% al 24,3%, una caída de 33,6 puntos. Como comparación: solo el prompt de equidad (fairness prompt) logra una reducción del 30,2%. La combinación de la edición de pesos con el prompt de equidad muestra sinergia, reduciendo el sexismo aún más, hasta el 11,9%.

Conclusión

La investigación muestra que la edición contrastiva de pesos puede ser una herramienta eficaz para proteger a los modelos instruibles frente a indicaciones maliciosas. El enfoque funciona en dos dominios de comportamiento distintos: la mentira y el sesgo. Esto abre la posibilidad de usar el método de forma independiente o combinado con otros mecanismos de protección a nivel de prompt.