Editar los pesos sin reentrenar redujo las respuestas sexistas del 57,9% al 24,3%

Un equipo de autores de un artículo publicado en Hugging Face Daily Papers propone una forma de debilitar la tendencia de los modelos de lenguaje a obedecer órdenes dañinas sin recurrir al reentrenamiento. El método edita los pesos directamente. En dos pruebas en las que se ordena mentir, elevó la proporción media de respuestas honestas 6,2 y 4,6 puntos porcentuales por encima de la mejor alternativa. En la tarea con instrucciones de ser sexista, la proporción media de respuestas sexistas bajó del 57,9% al 24,3%, y al 11,9% al combinarlo con un prompt de equidad.

Cómo funciona la edición

La idea se basa en el contraste. Para cada comportamiento objetivo, ya sea mentir por orden o dar respuestas sexistas, se toma un pequeño conjunto de pares de prompts. Se ejecuta el modelo hacia delante, sin gradientes y sin bucle de entrenamiento, y a partir de la diferencia en su comportamiento en cada par se construye la edición de pesos. El resumen del artículo no revela los detalles exactos de la construcción, pero el principio está claro: hace falta solo un forward pass, no un fine-tuning completo.

La propiedad práctica clave es dónde se almacena la corrección. Las defensas habituales actúan en el nivel del prompt: un mensaje de sistema con reglas, una advertencia, un filtro. Un usuario o un atacante puede reescribir o eliminar esa instrucción. Aquí el cambio está integrado en los propios pesos, y manipular el texto de la solicitud no lo anula.

Qué mostraron las pruebas

Los autores probaron el método con dos comportamientos dañinos y cinco modelos instruction-tuned. El primero es «instructed falsehood», cuando se ordena al modelo mentir de forma explícita. El segundo es «instructed sexism», cuando se exige una respuesta sexista. Estos son los resultados que presentan los autores:

• Dos benchmarks con órdenes de mentir: la proporción media de respuestas honestas es 6,2 y 4,6 p.p. mayor que la de la mejor alternativa.
• Significancia: la mejora es estadísticamente significativa en tres de los cinco modelos; en los otros dos queda dentro del margen de ruido.
• Siete formatos de prompt: la edición mantiene la proporción de respuestas honestas por encima de la que logra el control por activaciones (activation steering) en una sola capa. La condición es estricta: las órdenes de mentir llegan en formatos de un solo turno que no se usaron al construir la edición.
• Sexismo: la proporción media de respuestas sexistas bajó del 57,9% al 24,3%.
• Combinación con un prompt de equidad: 11,9%.

Conviene leer las cifras con cuidado. La mejora de 4,6–6,2 p.p. es modesta y en dos de los cinco modelos no se distingue del ruido. El efecto es más notable en el sexismo: la reducción supera la mitad. Pero un 24,3% de respuestas sexistas residuales significa que una de cada cuatro respuestas sigue pasando. Como barrera independiente, el método es insuficiente, y los autores no afirman lo contrario.

Dónde puede resultar útil

La conclusión principal del resultado combinado es que la edición de pesos y las defensas basadas en prompts se suman, no se sustituyen. Pasar del 57,9% al 11,9% de respuestas sexistas solo es posible combinando ambas. Para los equipos que despliegan modelos abiertos, supone una capa adicional barata. No hacen falta ni el etiquetado de grandes datasets ni horas de GPU para reentrenar: basta un pequeño conjunto de pares de prompts para cada comportamiento indeseado.

Las limitaciones también son evidentes. El método se ha probado con dos comportamientos y cinco modelos. El trabajo no demuestra que se transfiera a otros tipos de instrucciones dañinas, como los ciberataques o la generación de instrucciones peligrosas. La resistencia a diálogos de varios turnos y a ataques adaptativos, en los que el adversario conoce la edición, también sigue siendo una pregunta abierta: la comparación con el activation steering se limita a formatos de un solo turno. Antes de implantarlo, conviene probar la edición con datos propios, comprobar los efectos secundarios en tareas habituales y mantener activadas las defensas basadas en prompts.