AudioHijack: как скрытые звуки заставляют AI выполнять вредоносные команды

Assistentes de voz e sistemas de IA estão penetrando mais profundamente em nossas vidas — desde alto-falantes inteligentes e smartphones até chatbots corporativos e sistemas de atendimento ao cliente. Esses sistemas não apenas reconhecem fala, mas também geram respostas, transcrevem reuniões e se conectam a serviços externos. Mas uma nova pesquisa revelou uma vulnerabilidade crítica: sons ocultos, completamente inaudíveis ao ouvido humano, podem forçar esses sistemas a executar comandos maliciosos.

Técnica AudioHijack

Pesquisadores da Universidade de Zhejiang desenvolveram um novo método de ataque chamado AudioHijack. Sua ideia é surpreendentemente simples: incorporar instruções ocultas em um arquivo de áudio comum que o ouvido humano não ouvirá, mas um modelo de IA reconhecerá e executará. Os cientistas apresentarão os resultados de seus experimentos na próxima conferência IEEE Symposium on Security and Privacy.

Quando sinais sonoros especialmente preparados foram incorporados em arquivos de áudio, modelos de IA começaram a executar ações perigosas: buscar informações sensíveis na internet, baixar arquivos de servidores controlados, enviar e-mails com dados pessoais. Os pesquisadores testaram 13 modelos líderes, incluindo serviços comerciais da Microsoft e Mistral. Os resultados são chocantes: o ataque funciona em 79-96% dos casos.

O sinal sonoro é criado em meia hora e pode ser usado repetidamente contra um modelo, independentemente das instruções do usuário.

Como o Ataque Funciona

A técnica é baseada no conceito de áudio adversarial — arquivos de som especialmente modificados para enganar aprendizado de máquina. Mas a distinção do AudioHijack é significativa: ele visa modelos generativos que podem não apenas analisar som, mas também tomar decisões e interagir com outros sistemas. Os pesquisadores identificaram uma falha crítica na arquitetura de grandes modelos áudio-linguagem (LALM). Como esses modelos recebem instruções em formato de áudio, é fácil incorporar comandos maliciosos em arquivos de áudio. A diferença chave das ataques anteriores: o atacante não precisa controlar nem o usuário nem suas instruções originais — apenas o arquivo de áudio em si. Cenários de ataques do mundo real são fáceis de imaginar:

• Incorporar comandos ocultos em música ou vídeo que o usuário envia para análise de IA
• Áudio malicioso em uma chamada do Zoom que é posteriormente carregada em um serviço de transcrição automática
• Injeção em uma conversa de voz ao vivo com um assistente de IA em tempo real

Defesa é Praticamente Ineficaz

Os pesquisadores testaram várias abordagens defensivas. Fornecer ao modelo exemplos de instruções maliciosas ajudou apenas 7%. Pedir à IA para verificar se sua resposta correspondia às instruções originais do usuário interceptou apenas 28% dos ataques.

"Essas defesas direcionadas não funcionam porque é muito difícil para modelos distinguir entre intenção normal do usuário e nosso ataque", diz

Meng Chen.

O único método parcialmente eficaz é monitorar o mecanismo de atenção do modelo para detectar quando ele se concentra excessivamente em áudio malicioso. Porém, tal proteção reduz a velocidade, e se o atacante souber disso, pode calibrar a técnica para contorná-la.

O Que Isso Significa

AudioHijack mostra que sistemas de IA de voz não são apenas assistentes convenientes, mas canais potenciais para ataques sérios. À medida que esses modelos se integram em sistemas críticos, o problema se torna mais agudo. As empresas precisam não de defesas direcionadas, mas de soluções arquitetônicas profundas — uma reconsideração de como os modelos processam e validam dados de entrada.