Canadá exige da OpenAI um plano de segurança após incidente com adolescente atirador

O governo canadense emitiu à OpenAI uma exigência rigorosa: a empresa deve apresentar um plano detalhado de segurança depois que ficou conhecido que um adolescente da Colúmbia Britânica usou o ChatGPT para ensaiar cenários de violência — e a OpenAI não considerou necessário notificar a polícia. O caso, conforme relatado pela Bloomberg, coloca uma questão diante de toda a indústria de inteligência artificial que ninguém ainda tem uma resposta conveniente: onde termina a privacidade do usuário e começa a obrigação de prevenir ameaças reais?

Os detalhes do incidente não foram totalmente divulgados, mas o seguinte é conhecido. Um adolescente da Colúmbia Britânica conduziu sistematicamente diálogos com o ChatGPT nos quais ensaiava cenários envolvendo violência. Os sistemas de moderação da OpenAI aparentemente detectaram essa atividade — porém, a empresa decidiu não passar a informação à polícia canadense. Subsequentemente, o adolescente acabou se envolvido em um incidente real de disparos. As autoridades canadenses consideraram o silêncio da OpenAI como uma falha grave e agora estão insistindo que a empresa proponha medidas "concretas" para prevenir uma reincidência.

Para entender a escala do problema, vale a pena relembrar o contexto. Este está longe de ser o primeiro caso em que o ChatGPT se vê no centro de um escândalo relacionado à segurança de menores. Em 2024, nos EUA, a mãe de um adolescente processou a Character.

AI após seu filho tirar a própria vida — de acordo com ela, o chatbot encorajava suas intenções suicidas. No mesmo ano, vários distritos escolares na América e Europa restringiram o acesso dos alunos a ferramentas de IA generativa. A OpenAI repetidamente atualizou sua política de segurança, introduziu restrições de idade e filtros de conteúdo.

Mas o incidente canadense mostra que filtros técnicos não são suficientes — a questão se reduz a uma decisão fundamental: uma empresa de IA deve agir como informante para a polícia?

Legalmente, a situação é extremamente ambígua. Na maioria das jurisdições, a obrigação de relatar ameaças potenciais recai sobre categorias específicas de profissionais — médicos, psicólogos, professores. Empresas de tecnologia geralmente não estão nesta lista.

Redes sociais como Meta e Google há muito estabeleceram protocolos de interação com a polícia, especialmente em casos envolvendo exploração infantil. Mas IA generativa é um território fundamentalmente diferente. Um usuário conduz um diálogo privado com um modelo, e o conteúdo desse diálogo é formalmente protegido pela política de privacidade.

A OpenAI provavelmente se viu diante de um dilema clássico: violar a privacidade do usuário em prol da segurança potencial ou cumprir obrigações de proteção de dados. A empresa escolheu a segunda — e agora enfrenta as consequências.

A posição do governo canadense, porém, também não está livre de complicações. A exigência por passos "concretos" soa resoluta, mas o que exatamente significa? Se o Canadá quer que a OpenAI automaticamente passe dados para a polícia sobre usuários cujos pedidos contêm descrições de violência, isso cria um precedente de vigilância em massa. Milhões de pessoas diariamente discutem com o ChatGPT enredos de livros, filmes, videogames nos quais a violência aparece. Distinguir um pedido criativo de uma ameaça real é uma tarefa que nem mesmo psicólogos vivos sempre conseguem, quanto mais algoritmos. Se estamos falando sobre moderação manual de casos suspeitos, surge a questão da escala: o ChatGPT processa centenas de milhões de pedidos por dia.

Para a OpenAI, este incidente cria um risco reputacional e estratégico que se estende muito além do Canadá. A empresa está ativamente expandindo sua presença em mercados internacionais, e todo governo agora fará a mesma pergunta: que garantias de segurança vocês podem fornecer? A Lei de IA Europeia já estabelece requisitos rigorosos para sistemas de alto risco. O precedente canadense pode impelir outros países a desenvolver protocolos especiais obrigando empresas de IA a cooperar com a polícia em certas situações. Isto, por sua vez, exigirá da OpenAI, Anthropic, Google e outros atores criar departamentos inteiros lidando com conformidade em dezenas de jurisdições simultaneamente.

Há também uma questão mais profunda que este caso coloca à sociedade. Modelos de IA generativa se tornaram um espaço para auto-expressão para milhões de pessoas — especialmente jovens — às vezes o espaço mais sincero disponível. Adolescentes contam aos chatbots coisas que não se atrevem a dizer aos pais ou amigos.

Se as empresas de IA começarem a passar essas conversas para a polícia, a confiança na tecnologia desabará. Se não passarem — arriscam se tornar cúmplices de tragédias. Um meio termo aqui pode não existir, e é exatamente por isso que o incidente canadense se tornará um ponto de virada para toda a indústria.

A resposta que a OpenAI apresentar a Ottawa estabelecerá o padrão — ou mostrará que ainda não há padrão.