AudioHijack: como sons ocultos fazem a IA executar comandos maliciosos

Assistentes de voz e sistemas de IA estão cada vez mais presentes no dia a dia, de alto-falantes inteligentes e smartphones a chatbots corporativos e sistemas de atendimento ao cliente. Esses sistemas não apenas reconhecem fala: também geram respostas, transcrevem reuniões e se conectam a serviços externos. Mas uma nova pesquisa revelou uma vulnerabilidade crítica: sons ocultos, totalmente inaudíveis para o ouvido humano, podem fazer esses sistemas executarem comandos maliciosos.

A técnica AudioHijack

Pesquisadores da Zhejiang University desenvolveram um novo método de ataque chamado AudioHijack. A ideia é surpreendentemente simples: embutir em um arquivo de áudio comum instruções ocultas que o ouvido humano não percebe, mas que o modelo de IA reconhece e executa. Os cientistas vão apresentar os resultados dos experimentos no próximo IEEE Symposium on Security and Privacy.

Quando sinais sonoros especialmente preparados foram embutidos nos arquivos de áudio, os modelos de IA passaram a realizar ações perigosas: buscar informações sensíveis na internet, baixar arquivos de servidores controlados por invasores e enviar e-mails com dados pessoais.

Os pesquisadores testaram 13 modelos de ponta, incluindo serviços comerciais da Microsoft e da Mistral. Os resultados são alarmantes: o ataque funciona em 79-96% dos casos. O sinal sonoro é criado em meia hora e pode ser reutilizado várias vezes contra um mesmo modelo, independentemente das instruções do usuário.

Como o ataque é feito

A técnica se baseia no conceito de áudio adversarial: arquivos de som modificados especificamente para enganar o aprendizado de máquina. Mas o AudioHijack se diferencia de forma significativa: ele mira modelos generativos, capazes não só de analisar o som, mas também de tomar decisões e interagir com outros sistemas.

Os pesquisadores identificaram uma falha crítica na arquitetura dos grandes modelos de linguagem de áudio (LALMs). Como esses modelos recebem instruções em formato de áudio, é fácil embutir comandos maliciosos nos arquivos. A principal diferença em relação a ataques anteriores: o invasor não precisa controlar nem o usuário nem as instruções originais dele, apenas o próprio arquivo de áudio.

Os cenários reais de ataque são fáceis de imaginar:

• Comandos ocultos embutidos em música ou vídeo que o usuário envia para uma IA analisar
• Áudio malicioso em uma reunião no Zoom que depois é enviada a um serviço de transcrição automática
• Injeção em uma conversa por voz ao vivo com um assistente de IA, em tempo real

A defesa é praticamente ineficaz

Os pesquisadores testaram várias abordagens de defesa. Fornecer ao modelo exemplos de instruções maliciosas ajudou apenas 7%. Pedir à IA que verificasse se sua resposta correspondia às instruções originais do usuário barrou só 28% dos ataques.

"Essas defesas pontuais não funcionam porque é muito difícil para os modelos distinguir a intenção normal do usuário do nosso ataque", diz

Men Chen.

O único método que funciona parcialmente é monitorar o mecanismo de atenção do modelo para detectar quando ele se concentra demais no áudio malicioso. No entanto, essa defesa reduz a velocidade e, se o invasor descobrir, pode calibrar a técnica para contorná-la.

O que isso significa

O AudioHijack mostra que os sistemas de IA de voz não são apenas assistentes convenientes, mas também possíveis canais de ataques graves. À medida que esses modelos são integrados a sistemas críticos, o problema se agrava. As empresas precisam não de defesas pontuais, mas de soluções arquiteturais profundas: repensar como os modelos processam e validam os dados de entrada.