MARS transpose le refus textuel à la vidéo et à l'image sans données dédiées : test sur 5 MLLM

Les auteurs de l'étude Harnessing Textual Refusal Directions for Multimodal Safety proposent MARS, une méthode qui donne aux modèles de langage multimodaux la capacité de refuser les requêtes dangereuses, sans réentraînement et sans un seul exemple multimodal de contenu non sûr. Le vecteur de refus est extrait du socle textuel du modèle, et l'intervention porte sur un seul token : le premier généré. La méthode a été évaluée sur cinq MLLM récents selon trois axes : la sécurité, l'utilité et la résistance aux jailbreaks par la vidéo.

Pourquoi la sécurité multimodale se heurte au problème des données

Les approches classiques pour sécuriser un MLLM exigent des données multimodales dangereuses. Il s'agit soit d'un alignement post-entraînement, soit d'activation steering, où l'on décale les activations du modèle vers le refus. Ces données sont difficiles à collecter. Pour chaque nouvelle modalité (images, vidéo, puis audio et tout ce qui viendra ensuite), il faut les rassembler à nouveau. De plus, la collecte et la diffusion de ce type de contenu soulèvent des questions éthiques et juridiques.

Les auteurs ont posé la question inverse : un jeu de données multimodal est-il vraiment nécessaire ? La partie textuelle du modèle sait refuser depuis longtemps. Si la « direction de refus » dans l'espace des activations est commune à toutes les modalités, on peut l'extraire du texte et l'appliquer aux images et aux vidéos.

Ce que montrent les expériences préliminaires

L'hypothèse se confirme, mais avec des réserves. Les directions de refus textuelles se transfèrent bien aux images et aux vidéos. Leur efficacité dépend toutefois de trois facteurs : la couche choisie, l'intensité de l'intervention et l'alignement intermodal.

Le troisième facteur produit le principal effet secondaire. À cause du désalignement des modalités, les activations des entrées multimodales ordinaires et inoffensives ne se situent pas au même endroit que celles du texte. Le vecteur de refus les pousse à tort vers le refus. Le modèle se met à refuser des images et des vidéos anodines, et l'utilité chute.

Comment fonctionne MARS

MARS (Modality-Agnostic Refusal Steering) traite précisément ces problèmes grâce à trois mécanismes. La méthode est légère et ne nécessite aucun entraînement.

• Données : aucune donnée multimodale de contenu non sûr n'est nécessaire, la direction de refus est extraite du backbone textuel du LLM.
• Entraînement : aucun (training-free), l'intervention a lieu à l'inférence.
• Centrage des activations : corrige le désalignement des modalités pour que les entrées sûres ne soient pas déplacées vers le refus.
• Intensité adaptative : le coefficient est ajusté pour chaque entrée à l'intérieur d'une région de confiance (trust region) définie géométriquement.
• Choix de la couche : la méthode identifie la couche optimale pour intervenir.
• Point d'intervention : le premier token généré.
• Évaluation : cinq MLLM SOTA, trois volets de tests (sécurité, utilité, jailbreak vidéo).

Selon les auteurs, MARS améliore de façon stable la sécurité et préserve l'utilité, tant que l'on n'atteint pas le stade des refus excessifs. Cette réserve de l'abstract est importante : l'équilibre reste un compromis à régler, pas une amélioration gratuite. L'abstract ne donne aucun pourcentage précis, on ne peut donc pas en déduire l'ampleur de l'effet. Il faut consulter les tableaux de l'article lui-même et reproduire les résultats sur ses propres modèles.

La principale conclusion de l'étude dépasse la méthode elle-même. La structure liée à la sécurité est partagée entre les modalités, et les directions de refus textuelles restent une base sous-exploitée pour l'alignement multimodal.

Ce que les équipes peuvent en tirer

Pour les équipes qui publient ou affinent des MLLM, l'intérêt de la méthode tient d'abord à son coût de mise en œuvre. Il n'est pas nécessaire de collecter ni de stocker des images et des vidéos dangereuses, ni de lancer un cycle de réentraînement, et l'intervention se limite au premier token : le surcoût à l'inférence devrait donc rester faible. Pour les entreprises dont les juristes bloquent la constitution d'un tel jeu de données, c'est une alternative praticable.

Trois points méritent vérification avant tout déploiement. Premièrement, le comportement de l'over-refusal sur vos requêtes sûres réelles, en particulier avec des images et des vidéos, là où le désalignement des modalités est le plus marqué. Deuxièmement, la transférabilité de la couche choisie et de la région de confiance d'une architecture à l'autre, puisque les auteurs eux-mêmes jugent le choix de la couche critique. Troisièmement, la résistance aux attaques adaptatives. Les tests incluent bien un jailbreak vidéo, mais un attaquant qui connaît le steering cherchera des contournements.

Pour le reste de l'industrie, le signal est le suivant : la sécurité des modèles multimodaux peut en partie provenir de l'alignement textuel, déjà payé. Si l'approche résiste à une vérification indépendante, elle réduira le coût de la protection pour les nouvelles modalités.