Un solo sufijo rompe cualquier LLM: investigadores hallan un vector único de rechazo

Los investigadores han demostrado que, pese a la aparente diversidad de los ataques adversariales contra modelos de lenguaje, todos explotan la misma debilidad estructural: un único "vector de rechazo" en el espacio de activaciones. Un sufijo bien elegido puede desbloquear cualquier modelo, aunque el ataque no lo haya visto nunca.

Dos ataques, un punto de vulnerabilidad

Los métodos más conocidos para eludir las protecciones de los LLM, GCG (Greedy Coordinate Gradient) y AutoDAN, funcionan de manera radicalmente distinta. GCG añade a una petición dañina un sufijo de tokens optimizados al azar: parece un galimatías, pero la cadena se seleccionó mediante descenso de gradiente para empujar al modelo a cumplir la petición. AutoDAN procede de otro modo: genera un texto adicional legible y gramaticalmente correcto mediante búsqueda evolutiva o un modelo de lenguaje auxiliar. Ruido frente a significado, caos de tokens frente a prosa coherente. Aun así, por dentro ambos métodos hacen lo mismo en el mismo lugar.

• GCG optimiza los tokens directamente mediante el gradiente de la función de pérdida
• AutoDAN usa búsqueda evolutiva o un LLM auxiliar para generar el texto
• Ambos añaden un sufijo a la petición dañina original
• Ambos se transfieren igual de bien a modelos que el ataque no ha visto

Qué es la dirección de rechazo

Cuando un modelo de lenguaje rechaza una petición dañina, no es obra de un sistema complejo y ramificado de filtros temáticos. En el espacio de activaciones internas del modelo existe un único vector: la "dirección de rechazo" (refusal direction). Cuando las representaciones de la petición se proyectan a lo largo de él, el modelo rechaza. Cuando las activaciones se desvían en sentido contrario, el modelo cumple.

Hay que entender que no se trata de una metáfora, sino de un objeto matemático concreto. Los investigadores lo obtienen con el método de diferencia de medias: comparan cómo representa el modelo una petición "normal" y una "dañina", y la diferencia entre esas medias es la dirección de rechazo.

Años de aprendizaje por refuerzo con retroalimentación humana (RLHF) no crearon una protección por capas. Concentraron toda la "voluntad de rechazo" en un único eje geométrico del espacio de activaciones. Que ataques independientes, desarrollados por equipos distintos, hayan acabado encontrando el mismo objeto demuestra por sí mismo que el fenómeno es estructural.

"Toda la resistencia de la seguridad cuelga de un único vector.

No es un error de una implementación concreta, es una propiedad estructural de cómo funciona la alineación mediante RLHF".

Por qué la universalidad de los ataques no es casual

Si un sufijo desplaza las activaciones lejos de la dirección de rechazo, funciona contra cualquier modelo con un entrenamiento similar, aunque el atacante no lo haya visto nunca. Esto explica un fenómeno observado desde hace tiempo: los sufijos hallados en modelos abiertos (Llama, Mistral) eluden sistemas comerciales cerrados. Los sufijos de GPT-3.5 funcionaron contra GPT-4. La causa no es una filtración de pesos ni datos idénticos, sino que todos los modelos RLHF modernos codifican el rechazo en un objeto geométrico similar.

• El atacante no necesita acceso directo al modelo objetivo: basta cualquier proxy con un entrenamiento similar
• El sufijo puede ser basura ilegible o texto coherente: ambos golpean el mismo punto
• Los ataques públicos contra modelos abiertos se convierten automáticamente en una amenaza para los sistemas propietarios

Qué significa

Si toda la protección frente a salidas dañinas depende de un único objeto geométrico en el espacio latente, surge una pregunta: ¿basta con "parchear" ese vector durante el ajuste fino, o hace falta una arquitectura de entrenamiento radicalmente distinta? Algunos investigadores proponen eliminar quirúrgicamente la dirección del modelo en la fase de inferencia, pero eso empeora la calidad general.

Que ataques independientes de distinto tipo hayan convergido en la dirección de rechazo apunta a una característica estructural de los LLM actuales, y es una frontera en la que la seguridad de la IA aún no ha encontrado respuesta.