Canadá exige a OpenAI un plan de seguridad tras el caso de un adolescente autor de un tiroteo

El Gobierno canadiense ha lanzado a OpenAI una exigencia severa: la empresa debe presentar un plan detallado de medidas de seguridad después de que se supiera que un adolescente de la provincia de Columbia Británica usó ChatGPT para recrear escenarios de violencia, y OpenAI no consideró necesario avisar a las fuerzas del orden. El caso, que recoge Bloomberg, plantea a toda la industria de la inteligencia artificial una pregunta para la que todavía nadie tiene una respuesta cómoda: ¿dónde termina la privacidad del usuario y dónde empieza la obligación de prevenir una amenaza real?

Los detalles del incidente aún no se conocen por completo, pero esto es lo que se sabe. El adolescente de Columbia Británica mantenía conversaciones sistemáticas con ChatGPT en las que recreaba escenarios con uso de violencia. Los sistemas de moderación de OpenAI, al parecer, detectaron esa actividad, pero la empresa decidió no transmitir la información a la policía canadiense. Después, el adolescente resultó estar vinculado a un tiroteo real. Las autoridades canadienses consideran el silencio de OpenAI un fallo grave y ahora insisten en que la compañía proponga medidas "concretas" que impidan que algo así se repita.

Para entender la magnitud del problema conviene recordar el contexto. No es ni de lejos la primera vez que ChatGPT se ve en el centro de un escándalo relacionado con la seguridad de menores. En 2024, en Estados Unidos, la madre de un adolescente demandó a Character.

AI después de que su hijo se quitara la vida; según ella, el chatbot alentó sus ideas suicidas. Ese mismo año, varios distritos escolares de Estados Unidos y Europa restringieron el acceso de los alumnos a herramientas de IA generativa. OpenAI ha actualizado varias veces su política de seguridad y ha introducido restricciones de edad y filtros de contenido.

Pero el caso canadiense muestra que los filtros técnicos no bastan: la cuestión se reduce a una decisión de fondo, si una empresa de IA debe actuar como informante de las fuerzas del orden.

Desde el punto de vista jurídico, la situación es muy ambigua. En la mayoría de las jurisdicciones, la obligación de comunicar amenazas potenciales recae en categorías concretas de profesionales: médicos, psicólogos, docentes. Las empresas tecnológicas, por lo general, no figuran en esa lista.

Redes sociales como Meta* y Google llevan tiempo con protocolos de colaboración con la policía, sobre todo en casos de explotación infantil. Pero la IA generativa es un territorio radicalmente distinto. El usuario mantiene una conversación privada con un modelo, y el contenido de esa conversación está protegido formalmente por la política de privacidad.

OpenAI se enfrentó probablemente a un dilema clásico: vulnerar la privacidad del usuario en nombre de una posible seguridad o cumplir sus obligaciones de protección de datos. La empresa eligió lo segundo, y ahora afronta las consecuencias.

La postura del Gobierno canadiense, sin embargo, tampoco está libre de complicaciones. La exigencia de "medidas concretas" suena firme, pero ¿qué hay exactamente detrás? Si Canadá quiere que OpenAI entregue automáticamente a la policía datos de usuarios cuyas consultas contienen descripciones de violencia, eso sienta un precedente de vigilancia masiva.

Millones de personas conversan a diario con ChatGPT sobre tramas de libros, películas y videojuegos en los que aparece la violencia. Distinguir una petición creativa de una amenaza real es una tarea que ni los psicólogos humanos resuelven siempre, y mucho menos los algoritmos. Y si se trata de moderar a mano los casos sospechosos, surge el problema de la escala: ChatGPT procesa cientos de millones de consultas al día.

Para OpenAI, este incidente crea un riesgo reputacional y estratégico que va mucho más allá de Canadá. La compañía se expande activamente en mercados internacionales, y cada gobierno le hará ahora la misma pregunta: ¿qué garantías de seguridad pueden ofrecer? La Ley de IA europea (AI Act) ya impone requisitos estrictos a los sistemas de alto riesgo. El precedente canadiense puede empujar a otros países a elaborar protocolos específicos que obliguen a las empresas de IA a colaborar con las fuerzas del orden en determinadas situaciones. Eso, a su vez, exigirá a OpenAI, Anthropic, Google y otros actores crear departamentos enteros de cumplimiento normativo (compliance) para decenas de jurisdicciones a la vez.

Hay además una cuestión de fondo que este caso plantea a la sociedad. Los modelos de IA generativa se han convertido para millones de personas, sobre todo jóvenes, en un espacio de expresión personal, a veces el más sincero a su alcance. Los adolescentes cuentan a los chatbots lo que no se atreven a decir a sus padres o amigos.

Si las empresas de IA empiezan a entregar esas conversaciones a la policía, la confianza en la tecnología se derrumbará. Si no lo hacen, corren el riesgo de convertirse en cómplices de tragedias. Quizá aquí no exista un término medio, y por eso el caso canadiense será un punto de inflexión para toda la industria.

La respuesta que OpenAI presente a Ottawa fijará un estándar o demostrará que todavía no existe ninguno.

*Meta está reconocida como organización extremista y prohibida en la Federación Rusa.