MARS traslada el rechazo textual a vídeo e imágenes sin datos: prueba en 5 MLLM

Los autores del trabajo Harnessing Textual Refusal Directions for Multimodal Safety proponen MARS, un método que da a los modelos de lenguaje multimodales la capacidad de rechazar solicitudes peligrosas sin reentrenamiento y sin un solo ejemplo multimodal de contenido inseguro. El vector de rechazo se toma de la base textual del modelo, y la intervención se aplica en un único token: el primero que se genera. El método se probó en cinco MLLM actuales según tres ejes: seguridad, utilidad y resistencia a jailbreaks a través de vídeo.

Por qué la seguridad multimodal depende de los datos

Las formas habituales de hacer más seguro un MLLM requieren datos multimodales peligrosos. Se trata del alineamiento posterior al entrenamiento o del activation steering, que desplaza las activaciones del modelo hacia el rechazo. Reunir esos datos es difícil. Hay que volver a recopilarlos para cada nueva modalidad (imágenes, vídeo y, más adelante, audio o cualquier otra). Además, recoger y distribuir ese material plantea cuestiones éticas y legales.

Los autores se hicieron la pregunta inversa: ¿hace falta realmente un conjunto de datos multimodal? La parte textual del modelo ya aprendió a rechazar hace tiempo. Si la «dirección de rechazo» en el espacio de activaciones es común a todas las modalidades, se puede extraer del texto y aplicar a imágenes y vídeo.

Qué mostraron los experimentos preliminares

La hipótesis se confirmó, aunque con matices. Las direcciones de rechazo textuales sí se trasladan a imágenes y vídeo. Su eficacia depende de tres factores: la capa elegida, la intensidad de la intervención y el alineamiento entre modalidades.

El tercer factor genera el principal efecto secundario. Por el desajuste entre modalidades, las activaciones de entradas multimodales normales y seguras no están donde están las del texto. El vector de rechazo las desplaza hacia el rechazo de forma errónea. El modelo empieza a negarse ante imágenes y vídeos inofensivos, y la utilidad cae.

Cómo funciona MARS

MARS (Modality-Agnostic Refusal Steering) resuelve justamente estos problemas con tres mecanismos. El método es ligero y no requiere entrenamiento.

• Datos: no hacen falta datos multimodales de contenido inseguro; la dirección de rechazo se extrae del backbone de texto del LLM.
• Entrenamiento: ninguno (training-free); la intervención se produce en la inferencia.
• Centrado de activaciones: corrige el desajuste entre modalidades para que las entradas seguras no se desplacen hacia el rechazo.
• Intensidad adaptativa: el coeficiente se ajusta para cada entrada dentro de una región de confianza (trust region) definida geométricamente.
• Selección de capa: el método encuentra la capa óptima para intervenir.
• Punto de intervención: el primer token generado.
• Evaluación: cinco MLLM SOTA y tres líneas de pruebas (seguridad, utilidad, jailbreak mediante vídeo).

Según los autores, MARS aumenta la seguridad de forma estable y conserva la utilidad mientras no se llegue a los rechazos excesivos. Esta salvedad del resumen es importante: el equilibrio sigue siendo un compromiso que hay que ajustar, no una mejora gratuita. El resumen no da porcentajes concretos, así que no permite valorar la magnitud del efecto. Hay que consultar las tablas del propio artículo y reproducir los resultados con modelos propios.

La conclusión principal del trabajo va más allá del método. La estructura vinculada a la seguridad es común a distintas modalidades, y las direcciones de rechazo textuales siguen siendo una base poco aprovechada para el alineamiento multimodal.

Qué se puede aprovechar en la práctica

Para los equipos que lanzan o ajustan MLLM, el método interesa sobre todo por su bajo coste de adopción. No hay que reunir ni almacenar imágenes y vídeos peligrosos, no se necesita un ciclo de reentrenamiento y la intervención se limita al primer token, de modo que la sobrecarga en inferencia debería ser pequeña. Para las empresas cuyos equipos legales bloquean la recopilación de un conjunto de datos así, es una alternativa viable.

Antes de implantarlo conviene comprobar tres cosas. Primera: cómo se comporta el over-refusal con sus solicitudes seguras reales, sobre todo con imágenes y vídeo, donde el desajuste entre modalidades es mayor. Segunda: hasta qué punto la capa elegida y la región de confianza se trasladan entre arquitecturas, ya que los propios autores consideran crítica la selección de capa. Tercera: la resistencia a ataques adaptativos. Las pruebas incluyen jailbreak mediante vídeo, pero un atacante que conozca el steering buscará formas de eludirlo.

Para el resto de la industria, la señal es esta: la seguridad de los modelos multimodales puede obtenerse en parte del alineamiento textual, que ya está pagado. Si el enfoque resiste una verificación independiente, abaratará la protección de las nuevas modalidades.