AudioHijack: как скрытые звуки заставляют AI выполнять вредоносные команды

Los asistentes de voz y los sistemas de IA se están adentrando más profundamente en nuestras vidas — desde altavoces inteligentes y smartphones hasta chatbots corporativos y sistemas de atención al cliente. Estos sistemas no solo pueden reconocer voz, sino también generar respuestas, transcribir reuniones y conectarse a servicios externos. Pero una nueva investigación ha revelado una vulnerabilidad crítica: sonidos ocultos, completamente inaudibles para el oído humano, pueden obligar a estos sistemas a ejecutar comandos maliciosos.

Técnica AudioHijack

Investigadores de la Universidad de Zhejiang han desarrollado un nuevo método de ataque llamado AudioHijack. Su idea es sorprendentemente simple: incrustar instrucciones ocultas en un archivo de audio ordinario que el oído humano no escuchará, pero que un modelo de IA reconocerá y ejecutará. Los científicos presentarán los resultados de sus experimentos en la próxima conferencia IEEE Symposium on Security and Privacy.

Cuando señales de sonido especialmente preparadas se incrustaban en archivos de audio, los modelos de IA comenzaban a realizar acciones peligrosas: buscar información sensible en internet, descargar archivos desde servidores controlados, enviar correos electrónicos con datos personales. Los investigadores probaron 13 modelos líderes, incluidos servicios comerciales de Microsoft y Mistral. Los resultados son impactantes: el ataque funciona en el 79-96% de los casos.

La señal de sonido se crea en media hora y puede usarse repetidamente contra un modelo, independientemente de las instrucciones del usuario.

Cómo Funciona el Ataque

La técnica se basa en el concepto de audio adversarial — archivos de sonido especialmente modificados para engañar al aprendizaje automático. Pero la distinción de AudioHijack es significativa: se dirige a modelos generativos que no solo pueden analizar sonido, sino también tomar decisiones e interactuar con otros sistemas. Los investigadores identificaron un defecto crítico en la arquitectura de grandes modelos audiolingüísticos (LALM). Dado que estos modelos reciben instrucciones en formato de audio, es fácil incrustar comandos maliciosos en archivos de audio. La diferencia clave respecto a ataques anteriores: el atacante no necesita controlar ni al usuario ni sus instrucciones originales — solo el archivo de audio en sí. Es fácil imaginar escenarios reales de ataque:

• Incrustar comandos ocultos en música o vídeo que el usuario envía para análisis de IA
• Audio malicioso en una llamada de Zoom que se carga posteriormente en un servicio de transcripción automática
• Inyección en una conversación de voz en vivo con un asistente de IA en tiempo real

La Defensa es Prácticamente Ineficaz

Los investigadores probaron varios enfoques defensivos. Proporcionar al modelo ejemplos de instrucciones maliciosas ayudó solo en un 7%. Pedir a la IA que verificara si su respuesta coincidía con las instrucciones originales del usuario interceptó solo el 28% de los ataques.

"Estas defensas específicas no funcionan porque es muy difícil para los modelos distinguir entre la intención normal del usuario y nuestro ataque", dice

Meng Chen.

El único método parcialmente efectivo es monitorear el mecanismo de atención del modelo para detectar cuándo se enfoca excesivamente en audio malicioso. Sin embargo, esta protección reduce la velocidad, y si el atacante se entera, puede calibrar la técnica para eludirla.

Qué Significa Esto

AudioHijack demuestra que los sistemas de IA de voz no son solo asistentes convenientes, sino canales potenciales para ataques graves. A medida que estos modelos se integran en sistemas críticos, el problema se vuelve más agudo. Las empresas necesitan no defensas específicas, sino soluciones arquitectónicas profundas — una reconsideración de cómo los modelos procesan y validan los datos de entrada.