GUISE demuestra que una envoltura narrativa vulnera Qwen3-1.7B en el 89–96% de los casos

Un grupo de investigadores ha publicado en arXiv un trabajo sobre cómo una envoltura narrativa elude la protección de los modelos de lenguaje. Un modelo rechaza de plano una consulta dañina, pero a menudo la ejecuta si se le presenta como un juego de rol o una historia. En Qwen3-1.7B, la tasa de ataques exitosos ya es del 89,4% en inglés y del 93,0% en chino moderno, y llega al 95,7% en chino clásico (wényán). Para medirlo, los autores crearon el benchmark GUISE y propusieron un método de defensa, AXIS.

Qué contiene GUISE

El benchmark está diseñado para eliminar las debilidades habituales de este tipo de pruebas. Las consultas son paralelas en tres variantes de idioma: inglés, chino moderno y chino clásico. Así se puede separar el efecto del idioma y del registro del efecto de la propia envoltura. Cada consulta dañina tiene una pareja inocua, de modo que se puede comprobar si el modelo ha empezado a rechazarlo todo.

Hay otras dos decisiones importantes desde el punto de vista metodológico. Los tipos de envoltura con los que se evalúa el modelo quedan excluidos del entrenamiento del método de defensa. La prueba mide, por tanto, si la protección se transfiere a formas de ataque desconocidas y no a plantillas memorizadas. Además, el criterio de éxito del ataque es más estricto de lo habitual: una respuesta del tipo «advirtió y después la dio de todos modos» también cuenta como fallo. Muchas evaluaciones consideran seguras esas respuestas, aunque el usuario recibe exactamente lo que pidió.

Por qué la envoltura pesa más que el idioma

Los autores examinaron las representaciones internas del modelo. En los modelos con protección existe una «dirección de rechazo» en el espacio de activaciones: cuanto más cerca de ella queda la representación de una consulta, más probable es que el modelo la rechace. El análisis mostró que cambiar el idioma y el registro desplaza las representaciones de las consultas dañinas respecto a esa dirección solo ligeramente. La envoltura narrativa las aleja mucho más.

De ahí se desprende una conclusión práctica. Las cifras altas en chino clásico no indican que una lengua poco común rompa por sí sola la protección: en inglés el resultado difiere en apenas 6,3 puntos porcentuales. La aportación principal viene del marco de la trama. El alineamiento entrenado con formulaciones directas generaliza mal a consultas que estructuralmente parecen una tarea creativa.

Cómo funciona AXIS

AXIS combina la optimización de preferencias con dos objetivos adicionales. El primero, rotation objective, gira las representaciones de las consultas dañinas hacia la dirección de rechazo; es decir, devuelve la consulta «disfrazada» al lugar donde el modelo la reconoce. El segundo, commitment objective, enseña al modelo a rechazar por completo, en lugar de dar una advertencia seguida de la respuesta. Este último apunta precisamente al modo de fallo que GUISE considera un fracaso.

El método se probó en tres modelos. Según los autores, AXIS obtuvo en todos ellos la mejor puntuación conjunta de seguridad y utilidad entre los métodos comparados.

• Qwen3-1.7B: tasa de éxito del ataque del 89,4% (inglés), 93,0% (chino moderno) y 95,7% (chino clásico).
• Modelos evaluados: Qwen3-1.7B, Qwen3-4B, GLM-4-9B.
• Idiomas y registros en GUISE: inglés, chino moderno, chino clásico.
• Criterio: una respuesta de «advertencia más ejecución» se considera ataque exitoso.
• Evaluación con envolturas que no se usaron en el entrenamiento de la defensa.

Qué implica en la práctica

Los equipos que ajustan modelos abiertos para sus productos obtienen una lista de comprobación clara. Primero: probar los rechazos con consultas en envoltura narrativa, y no solo con formulaciones directas. Segundo: contar como fallo las respuestas con advertencia y ejecución; de lo contrario, las métricas de seguridad saldrán infladas. Tercero: incluir en la prueba consultas inocuas emparejadas, para no comprar seguridad a costa de rechazos excesivos.

Hay también salvedades. Se trata de un preprint, y el resumen ofrece resultados solo para modelos pequeños y medianos, de 1,7 a 9 mil millones de parámetros. El trabajo no dice cómo se comportan los grandes sistemas cerrados. Los detalles de los métodos comparados y los valores absolutos de la puntuación final habrá que consultarlos en el texto completo. Aun así, el propio esquema de evaluación, con idiomas paralelos, consultas emparejadas y envolturas reservadas para la prueba, parece trasladable a otros modelos e idiomas.