OpenAI lanza Safety Bug Bounty contra las vulnerabilidades de los sistemas de IA agénticos

OpenAI ha anunciado Safety Bug Bounty, un apartado especializado dentro de su sistema vigente de recompensas por vulnerabilidades. No se centra en los fallos clásicos de software, sino en riesgos propios de los sistemas de IA. Los investigadores de seguridad que descubran y documenten vulnerabilidades en los productos de la compañía podrán recibir una recompensa económica a través de la plataforma Bugcrowd.

La diferencia fundamental con los programas estándar es qué se busca. Los bug bounty tradicionales persiguen inyecciones SQL, fallos de autenticación o problemas en la infraestructura de servidores. El nuevo programa se concentra en tres vectores específicos de los modelos de lenguaje: el abuso de las capacidades de la IA (eludir los filtros de seguridad, usar el modelo para tareas prohibidas), las inyecciones de prompts y las fugas de datos del contexto de la conversación o de las instrucciones del sistema.

Llama la atención el foco en las vulnerabilidades agénticas. En el último año y medio, OpenAI ha desplegado con intensidad productos agénticos: Operator, Deep Research y la Responses API con herramientas para el navegador y el trabajo con archivos. Un agente que visita sitios web, realiza búsquedas y ejecuta código por su cuenta tiene una superficie de ataque mucho mayor que un chatbot. Una página web o un documento preparados a propósito pueden contener instrucciones ocultas que el modelo interprete como órdenes del usuario, y que acabe ejecutando. Este tipo de ataque se llama indirect prompt injection.

La clave: el atacante no se dirige directamente al modelo, sino que incrusta instrucciones maliciosas en contenido que el agente procesa como datos. Por ejemplo, visitar un sitio infectado puede llevar al agente a enviar un correo en nombre del usuario, copiar datos confidenciales o modificar la configuración de servicios conectados. El ataque funciona precisamente porque muchos modelos no distinguen entre las instrucciones fiables del sistema y el contenido externo no fiable.

La fuga de datos en el contexto de un LLM también exige métodos de prueba específicos. No se trata de hackear servidores, sino de situaciones en las que el modelo revela sin querer el contenido del prompt del sistema, reproduce datos de otros usuarios a través de los mecanismos de memoria o permite reconstruir fragmentos del conjunto de entrenamiento mediante consultas dirigidas. Las herramientas tradicionales de pentesting no están adaptadas a estas tareas; hace falta una experiencia especializada.

Al crear un apartado independiente, con sus propias reglas de evaluación y pago, OpenAI reconoce de facto que las amenazas específicas de la IA requieren una metodología aparte. Coincide con la postura de los principales laboratorios: Anthropic realiza red-teaming con regularidad antes de lanzar nuevos modelos, Google DeepMind publica investigaciones sobre la seguridad de los sistemas agénticos, y los reguladores de Estados Unidos y la UE empiezan a exigir pruebas de verificaciones sistemáticas.

El valor práctico del programa está en la escala. Los equipos internos de seguridad son limitados en número y propensos a los puntos ciegos. La comunidad externa de investigadores puede descubrir vectores de ataque que los de dentro pasaron por alto, sobre todo con entradas poco convencionales. Para los usuarios de productos agénticos, esto implica pruebas más sistemáticas de unos sistemas a los que confían el acceso a sus navegadores, archivos y cuentas.