Ars Technica→ original

Un desarrollador incrustó una inyección de prompt oculta en jqwik para sabotear a los codificadores de IA

El desarrollador de jqwik agregó una inyección de prompt oculta en la popular biblioteca Java que instruye a los agentes de IA a eliminar los resultados de…

Procesado por IA desde Ars Technica; editado por Hamidun News
Un desarrollador incrustó una inyección de prompt oculta en jqwik para sabotear a los codificadores de IA
Fuente: Ars Technica. Collage: Hamidun News.
◐ Escuchar artículo

El desarrollador de jqwik, una popular biblioteca Java para pruebas basadas en propiedades, incrustó una inyección de prompt oculta. Esta instrucción obliga a los codificadores de IA a eliminar toda la salida de la aplicación cuando intentan usar el código.

Por qué jqwik específicamente

El creador de la biblioteca está descontento con la creciente dependencia de los desarrolladores de los asistentes de IA. Los llama «codificadores vibe» —especialistas que dependen de la generación de código a través de IA en lugar de una comprensión profunda de la arquitectura y las tecnologías. jqwik no es una utilidad simple.

Es una herramienta para pruebas basadas en propiedades, donde usted define las propiedades del sistema y la biblioteca busca ejemplos que violen esas propiedades. Se requiere una comprensión del concepto, la capacidad de escribir predicados y trabajar con generadores de datos. Pero en lugar de leer la documentación, muchos desarrolladores simplemente le preguntan a ChatGPT o Claude.

La instrucción incrustada es una forma de sabotaje. Si eres demasiado perezoso para entender la herramienta, que elimine los resultados de tu código. Quizás eso te obligue a leer la documentación.

Cómo funciona la instrucción oculta

La técnica es trivial: en los comentarios del código o en el texto de jqwik, el desarrollador agregó líneas que se leen como instrucciones para el LLM. Cuando el asistente de IA analiza el código fuente de la biblioteca, ve estas líneas como parte del contexto y las incluye en su análisis.

  • El desarrollador le pregunta a la IA: «¿Cómo usar jqwik para una prueba?»
  • La IA busca ejemplos en el código fuente de la biblioteca
  • Encuentra la instrucción oculta sobre la eliminación de los resultados
  • Incluye esta lógica en el código propuesto

Resultado: el código generado es correcto, pero todos los resultados de la ejecución se eliminan. La prueba no muestra resultados, el programa parece no funcionar. Funciona porque los modelos de IA modernos no distinguen entre comentarios y código funcional: ven todo como contexto.

Vulnerabilidad a nivel de herramienta

El incidente demuestra la fragilidad de la seguridad de los codificadores de IA. Si un atacante incrusta una inyección de prompt en una biblioteca popular, puede instruir a la IA para que genere código vulnerable, y el desarrollador no se dará cuenta.

«Esta es una vulnerabilidad a nivel de herramienta de desarrollo, no

simplemente un bug en el código»

Los investigadores han demostrado que es posible insertar instrucciones ocultas en el código fuente, la documentación, incluso en los nombres de variables. Los modelos de IA siguen estas instrucciones, viendo todo como contexto. Los posibles ataques incluyen: inserción de inyección SQL, envío de datos al servidor del atacante, omisión de comprobaciones de seguridad.

Qué significa esto

Para los desarrolladores: no se puede confiar ciegamente en el código de los asistentes de IA. La revisión de código sigue siendo crítica, independientemente de la fuente. Para los creadores de herramientas de IA: una señal urgente para desarrollar protección contra inyecciones de prompt en el contexto del código. Para el ecosistema: las bibliotecas populares ahora pueden ser utilizadas para ataques contra herramientas de IA.

ZK
Hamidun News
Noticias de AI sin ruido. Selección editorial diaria de más de 400 fuentes. Producto de Zhemal Khamidun, Head of AI en Alpina Digital.

¿Quieres dejar de leer sobre IA y empezar a usarla?

AI News es un feed curado de noticias de IA. Hamidun Academy te enseña a usar la IA en tu trabajo.

¿Qué te parece?
Cargando comentarios…