Canadá exige a OpenAI un plan de seguridad tras incidente con un adolescente tirador

El gobierno canadiense ha emitido a OpenAI una exigencia severa: la empresa debe presentar un plan de seguridad detallado después de que se supo que un adolescente de la Columbia Británica utilizó ChatGPT para ensayar escenarios de violencia — y OpenAI no consideró necesario notificar a las fuerzas de seguridad. El caso, según informó Bloomberg, plantea a toda la industria de inteligencia artificial una pregunta ante la cual nadie tiene aún una respuesta conveniente: ¿dónde termina la privacidad del usuario y comienza la obligación de prevenir amenazas reales?

Los detalles del incidente aún no han sido completamente revelados, pero se conoce lo siguiente. Un adolescente de la Columbia Británica mantuvo sistemáticamente diálogos con ChatGPT en los que representaba escenarios que incluían violencia. Los sistemas de moderación de OpenAI aparentemente detectaron esta actividad — sin embargo, la empresa decidió no transmitir la información a la policía canadiense. Posteriormente, el adolescente resultó estar vinculado con un incidente real de disparos. Las autoridades canadienses consideraron el silencio de OpenAI como un grave fracaso e insisten ahora en que la empresa proponga medidas "concretas" para evitar que se repita algo similar.

Para entender la magnitud del problema, vale la pena recordar el contexto. Este dista mucho de ser el primer caso en el que ChatGPT se ve envuelto en un escándalo relacionado con la seguridad de menores. En 2024 en Estados Unidos, la madre de un adolescente demandó a Character.

AI después de que su hijo se quitara la vida — según ella, el chatbot animaba sus intenciones suicidas. Ese mismo año, varios distritos escolares en América y Europa restringieron el acceso de los estudiantes a herramientas de IA generativa. OpenAI ha actualizado repetidamente su política de seguridad, implementado restricciones de edad y filtros de contenido.

Pero el incidente canadiense demuestra que los filtros técnicos no son suficientes — la cuestión se reduce a una decisión fundamental: ¿debe una empresa de IA actuar como informante de las fuerzas de seguridad?

Legalmente, la situación es extremadamente ambigua. En la mayoría de las jurisdicciones, la obligación de denunciar amenazas potenciales recae en categorías específicas de profesionales — médicos, psicólogos, maestros. Las empresas tecnológicas generalmente no figuran en esta lista.

Redes sociales como Meta y Google hace tiempo establecieron protocolos de interacción con la policía, especialmente en casos que involucran explotación infantil. Pero la IA generativa es territorio fundamentalmente diferente. Un usuario sostiene un diálogo privado con un modelo, y el contenido de ese diálogo está formalmente protegido por la política de privacidad.

OpenAI probablemente se encontró ante un dilema clásico: violar la privacidad del usuario en aras de una seguridad potencial u honrar las obligaciones de protección de datos. La empresa eligió lo segundo — y ahora enfrenta las consecuencias.

La posición del gobierno canadiense, sin embargo, tampoco carece de complejidades. La demanda de pasos "concretos" suena resuelta, ¿pero qué significa exactamente? Si Canadá desea que OpenAI transmita automáticamente a la policía datos sobre usuarios cuyos pedidos contienen descripciones de violencia, esto establece un precedente de vigilancia masiva. Millones de personas diariamente discuten con ChatGPT tramas de libros, películas, videojuegos en los que aparece la violencia. Distinguir una consulta creativa de una amenaza real es una tarea que ni siquiera psicólogos vivos siempre logran, menos aún algoritmos. Si se trata de moderación manual de casos sospechosos, surge la cuestión de escala: ChatGPT procesa cientos de millones de solicitudes diarias.

Para OpenAI, este incidente genera un riesgo reputacional y estratégico que va mucho más allá de Canadá. La empresa está ampliando activamente su presencia en mercados internacionales, y cada gobierno ahora formulará la misma pregunta: ¿qué garantías de seguridad pueden proporcionar? La Ley de IA Europea ya establece requisitos rigurosos para sistemas de alto riesgo. El precedente canadiense puede impulsar a otros países a desarrollar protocolos especiales que obliguen a las empresas de IA a cooperar con las fuerzas de seguridad en determinadas situaciones. Esto, a su vez, requerirá que OpenAI, Anthropic, Google y otros actores creen divisiones enteras dedicadas al cumplimiento normativo en decenas de jurisdicciones simultáneamente.

También existe una pregunta más profunda que este caso le plantea a la sociedad. Los modelos de IA generativa se han convertido para millones de personas — especialmente jóvenes — en un espacio para la auto-expresión, a veces el más franco disponible. Los adolescentes cuentan a los chatbots cosas que no se atreven a decir a sus padres o amigos.

Si las empresas de IA comienzan a pasar estas conversaciones a la policía, la confianza en la tecnología se desmoronará. Si no lo hacen — corren el riesgo de convertirse en cómplices de tragedias. Un término medio aquí tal vez no exista, y es precisamente por eso que el incidente canadiense se convertirá en un punto de inflexión para toda la industria.

La respuesta que OpenAI presente a Ottawa establecerá el estándar — o mostrará que aún no existe uno.