Marusya et Salute prononcent des phrases indésirables via des choix, des prénoms et des rappels

Il s'avère que les assistants vocaux domestiques Marusya et Salute peuvent être poussés à prononcer des phrases qu'ils devraient normalement bloquer. Pas besoin d'API, de compétences en programmation ni d'automatisation : des fonctions standard comme le choix entre options, les rappels et les faits enregistrés suffisent.

Comment fonctionne le contournement

Le premier scénario concerne Marusya. L'auteur a remarqué que l'assistant répond volontiers aux questions du type « A ou B ? » et choisit simplement l'une des options proposées. Le problème, d'après la description de l'expérience, est que le système n'évalue pas si les deux réponses sont recevables en tant que construction unique. Si les deux options sont mal choisies, l'enceinte en prononce quand même une à voix haute, alors qu'elle refuserait probablement de répondre à une demande directe portant sur une phrase similaire.

Chez Salute, la logique du contournement s'est révélée différente, mais tout aussi parlante. Au lieu de demander directement quelque chose d'indésirable, l'auteur découpait la phrase en morceaux et les enregistrait comme prénoms d'« amis ». On peut ensuite demander à l'assistant de saluer ses amis ou de les énumérer un par un, et il prononce la liste enregistrée dans l'ordre. Pris isolément, les éléments ressemblent à de simples données de profil, mais en sortie ils forment une phrase complète que le filtre n'intercepte plus.

Quels scénarios ont fonctionné

Outre le choix entre options et la liste de prénoms, l'analyse décrit plusieurs autres fonctions du quotidien par lesquelles transite le texte indésirable. Le schéma est partout le même : le système accepte d'abord la phrase comme une donnée utilisateur ordinaire, la stocke en mémoire ou dans une fonction de service, puis la restitue presque mot pour mot dans un autre contexte, où la modération supplémentaire est faible ou ne se déclenche pas du tout dans ce type de scénarios.

• Une question « A ou B ? » posée à Marusya, où les deux réponses sont indésirables, mais où l'une sera tout de même prononcée.
• La mémorisation de morceaux de phrase comme prénoms d'amis chez Salute, puis la lecture de cette liste à voix haute.
• L'enregistrement de « faits » sur l'utilisateur ou son entourage, qu'on peut ensuite rappeler avec une commande du genre « parle-moi de moi ».
• Des rappels ordinaires : le texte est d'abord enregistré, puis, une minute plus tard, l'assistant le restitue simplement comme un message de service.

En pratique, c'est particulièrement gênant parce que le contournement n'exige aucune condition rare. L'utilisateur n'a besoin ni d'accès aux réglages internes, ni de skills tiers, ni de chaînes d'automatisation. Il suffit de formuler la demande à plusieurs reprises pour que l'assistant accepte d'abord le texte litigieux comme une donnée, puis le prononce lui-même dans un autre contexte. Pour des appareils domestiques souvent utilisés par des enfants et des familles, ce n'est plus une simple curiosité, mais un risque bien réel de comportement déplacé.

Pourquoi les filtres ont échoué

La note décrit le problème comme architectural. Les garde-fous de ces systèmes se situent le plus souvent sur la saisie directe de l'utilisateur : quand une personne demande à l'assistant de dire quelque chose d'explicitement interdit, le modèle ou une règle bloque la réponse. Mais lorsque la même phrase est découpée en fragments inoffensifs et enregistrée comme prénom, fait ou rappel, elle est traitée comme une donnée de confiance. Au moment de la synthèse vocale, la seconde vérification est soit trop faible, soit totalement absente.

«

Le problème, c'est qu'il y a généralement un contrôle à l'entrée, mais pas à la sortie ».

C'est pourquoi l'auteur rattache cette observation à la prompt injection et à la classe plus large des attaques contre les systèmes à base de LLM. Si le modèle ne distingue pas l'instruction des données utilisateur, des éléments sûrs pris séparément peuvent s'assembler en un résultat indésirable. Pour les plateformes vocales, cela implique non seulement un coût en termes d'image, mais aussi des scénarios plus graves : de la lecture accidentelle de phrases toxiques à la fuite de fragments de contexte enregistré par la voix.

Ce que cela signifie

L'affaire Marusya et Salute montre que la simple modération des requêtes directes ne suffit plus aux assistants vocaux. Il faut contrôler non seulement ce que l'utilisateur dit à l'instant, mais aussi ce que le système s'apprête à prononcer à partir de sa mémoire, des rappels et d'autres sources de données « sûres ». Sinon, les fonctions domestiques ordinaires deviennent elles-mêmes un canal de contournement des restrictions de base et une source de nouveaux risques.