Marusya y Salute pronuncian frases no deseadas mediante opciones, nombres y recordatorios

Resulta que los asistentes de voz domésticos Marusya y Salute pueden pronunciar frases que normalmente deberían bloquear. Para ello no hacen falta API, conocimientos de programación ni automatización: bastan funciones estándar como elegir entre opciones, los recordatorios y los datos guardados.

Cómo funciona la elusión

El primer escenario afecta a Marusya. El autor observó que el asistente responde con gusto a preguntas del tipo «¿A o B?» y simplemente elige una de las opciones. El problema, según la descripción del experimento, es que el sistema no evalúa si ambas respuestas son admisibles como una única construcción. Si las dos opciones están mal planteadas, el altavoz pronuncia igualmente una de ellas, aunque ante una petición directa de una frase similar probablemente se negaría a responder.

En Salute la lógica resultó distinta, pero igual de reveladora. En lugar de pedirle directamente algo no deseado, el autor dividía la frase en partes y las guardaba como nombres de «amigos». Después se le puede pedir al asistente que salude a sus amigos o los enumere uno por uno, y él pronuncia la lista guardada en orden. Por separado, los elementos parecen datos de perfil normales, pero al salir componen una frase completa que el filtro ya no intercepta.

Qué escenarios funcionaron

Además de la elección entre opciones y la lista de nombres, el análisis describe otras funciones cotidianas por las que pasa el texto no deseado. El esquema es el mismo en todos: el sistema acepta primero la frase como datos de usuario corrientes, la guarda en la memoria o en una función de servicio y luego la reproduce casi literalmente en otro contexto, donde la moderación adicional es débil o directamente no se activa en estos casos.

• Una pregunta «¿A o B?» para Marusya en la que ambas respuestas son indeseables, pero una se pronunciará igualmente.
• Memorizar partes de una frase como nombres de amigos en Salute y hacer que lea la lista en voz alta.
• Guardar «datos» sobre el usuario o su entorno, que luego se pueden invocar con una orden como «cuéntame sobre mí».
• Recordatorios normales: el texto se graba primero y un minuto después el asistente lo reproduce como un mensaje de servicio.

En la práctica, esto resulta especialmente desagradable porque la elusión no exige condiciones raras. El usuario no necesita acceso a ajustes internos, habilidades de terceros ni cadenas de automatización. Basta con formular la petición varias veces para que el asistente acepte primero el texto dudoso como datos y luego lo pronuncie él mismo en otro contexto. Para dispositivos domésticos que usan a menudo niños y familias, ya no es una simple curiosidad, sino un riesgo concreto de comportamiento inapropiado.

Por qué fallaron los filtros

La nota describe el problema como arquitectónico. Las protecciones de estos sistemas suelen estar en la entrada directa del usuario: cuando alguien pide al asistente que diga algo claramente prohibido, el modelo o una regla bloquea la respuesta. Pero cuando la misma frase se divide en fragmentos inofensivos y se guarda como nombre, dato o recordatorio, pasa a considerarse información de confianza. En la fase de locución, la segunda comprobación es demasiado débil o directamente inexistente.

«El problema es que normalmente hay control en la entrada, pero falta

en la salida».

Por eso el autor vincula la observación con la prompt injection y con la clase más amplia de ataques a sistemas basados en LLM. Si el modelo no distingue qué es una instrucción y qué son datos del usuario, elementos seguros por separado pueden combinarse en un resultado no deseado. Para las plataformas de voz, esto implica no solo costes reputacionales, sino escenarios más graves: desde la reproducción accidental de frases tóxicas hasta fugas de fragmentos del contexto guardado a través de la voz.

Qué significa

El caso de Marusya y Salute muestra que a los asistentes de voz ya no les basta con moderar las peticiones directas. Hay que comprobar no solo lo que el usuario dice ahora, sino también lo que el sistema va a pronunciar a partir de la memoria, los recordatorios y otras fuentes de datos «seguras». De lo contrario, las funciones domésticas corrientes se convierten en un canal para saltarse las restricciones básicas y en fuente de nuevos riesgos.