Marusya e Salute falam frases indesejadas por meio de escolhas, nomes e lembretes

Descobriu-se que os assistentes de voz domésticos Marusya e Salute podem ser levados a falar frases que normalmente deveriam bloquear. Para isso não são necessários API, conhecimentos de programação ou automação: bastam funções nativas, como escolha entre opções, lembretes e fatos salvos.

Como funciona o contorno

O primeiro cenário envolve a Marusya. O autor notou que o assistente responde de bom grado a perguntas no formato "A ou B?" e simplesmente escolhe uma das opções. O problema, segundo a descrição do experimento, é que o sistema não avalia se as duas respostas são admissíveis como uma construção única. Se as duas opções forem mal formuladas, a caixa de som ainda assim fala uma delas em voz alta, embora, diante de um pedido direto por uma frase parecida, provavelmente se recusasse a responder.

Na Salute, a lógica do contorno foi diferente, mas igualmente reveladora. Em vez de pedir diretamente algo indesejado, o autor dividia a frase em partes e as salvava como nomes de "amigos". Depois, dá para pedir ao assistente que cumprimente os amigos ou os liste um a um, e ele fala a lista salva em sequência. Isoladamente, os itens parecem dados comuns de perfil, mas, na saída, formam uma frase inteira que o filtro já não intercepta.

Quais cenários funcionaram

Além da escolha entre opções e da lista de nomes, a análise descreve outras funções cotidianas por onde passa o texto indesejado. O esquema é o mesmo em todas: o sistema primeiro aceita a frase como dado comum do usuário, guarda na memória ou numa função de serviço e depois a reproduz quase literalmente em outro contexto, onde a moderação adicional é fraca ou simplesmente não age nesses cenários.

• Uma pergunta "A ou B?" para a Marusya em que as duas respostas são indesejadas, mas uma delas ainda assim será falada.
• Memorização de partes de uma frase como nomes de amigos na Salute, com leitura posterior da lista em voz alta.
• Salvamento de "fatos" sobre o usuário ou seu círculo, que depois podem ser chamados com um comando como "fale sobre mim".
• Lembretes comuns: o texto é gravado primeiro e, um minuto depois, o assistente o reproduz como mensagem de serviço.

Na prática, isso é especialmente desagradável porque o contorno não exige condições raras. O usuário não precisa de acesso a configurações internas, skills de terceiros ou cadeias de automação. Basta formular o pedido algumas vezes para que o assistente aceite primeiro o texto questionável como dado e depois o fale ele mesmo, em outro contexto. Para dispositivos domésticos muito usados por crianças e famílias, isso deixa de ser mera curiosidade e vira um risco concreto de comportamento inadequado.

Por que os filtros falharam

A nota descreve o problema como arquitetural. As proteções desses sistemas costumam ficar na entrada direta do usuário: quando alguém pede ao assistente que diga algo claramente proibido, o modelo ou uma regra bloqueia a resposta. Mas, quando a mesma frase é dividida em fragmentos inofensivos e salva como nome, fato ou lembrete, ela passa a ser tratada como dado confiável. Na hora de falar, a nova verificação é fraca demais ou inexistente.

"O problema é que normalmente há controle na entrada, mas ele não existe na saída".

Por isso o autor relaciona a observação à prompt injection e à classe mais ampla de ataques a sistemas com LLM. Se o modelo não distingue o que é instrução e o que é dado do usuário, elementos seguros isoladamente podem se combinar num resultado indesejado. Para plataformas de voz, isso significa não só custos de reputação, mas cenários mais sérios: da reprodução acidental de frases tóxicas ao vazamento de trechos do contexto salvo por meio da fala.

O que isso significa

O caso da Marusya e da Salute mostra que moderar apenas pedidos diretos já não basta para assistentes de voz. É preciso verificar não só o que o usuário disse agora, mas também o que o sistema vai falar a partir da memória, dos lembretes e de outras fontes de dados "seguras". Caso contrário, as funções domésticas comuns viram elas mesmas um canal para contornar restrições básicas e uma fonte de novos riscos.