Canadá exige de OpenAI um plano de segurança após caso de adolescente atirador

O governo canadense fez uma exigência dura à OpenAI: a empresa deve apresentar um plano detalhado de medidas de segurança depois que se soube que um adolescente da província da Colúmbia Britânica usou o ChatGPT para encenar cenários de violência, e a OpenAI não achou necessário avisar as autoridades policiais. O caso, divulgado pela Bloomberg, coloca para toda a indústria de inteligência artificial uma pergunta para a qual ninguém tem ainda uma resposta confortável: onde termina a privacidade do usuário e onde começa a obrigação de prevenir uma ameaça real?

Os detalhes do incidente ainda não foram totalmente revelados, mas o seguinte é conhecido. O adolescente da Colúmbia Britânica mantinha conversas sistemáticas com o ChatGPT nas quais encenava cenários com uso de violência. Os sistemas de moderação da OpenAI, ao que tudo indica, registraram essa atividade, mas a empresa decidiu não repassar a informação à polícia canadense. Depois, o adolescente se mostrou ligado a um incidente real de tiroteio. As autoridades canadenses consideram o silêncio da OpenAI uma falha grave e agora insistem que a empresa proponha medidas "concretas" para impedir que algo assim se repita.

Para entender a dimensão do problema, vale lembrar o contexto. Está longe de ser a primeira vez que o ChatGPT aparece no centro de um escândalo ligado à segurança de menores. Em 2024, nos Estados Unidos, a mãe de um adolescente processou a Character.

AI depois que o filho tirou a própria vida; segundo ela, o chatbot incentivou as intenções suicidas dele. No mesmo ano, vários distritos escolares nos Estados Unidos e na Europa restringiram o acesso dos alunos a ferramentas de IA generativa. A OpenAI atualizou sua política de segurança várias vezes, introduziu restrições de idade e filtros de conteúdo.

Mas o caso canadense mostra que filtros técnicos não bastam: a questão esbarra numa decisão de princípio, a de saber se uma empresa de IA deve agir como informante das autoridades policiais.

Juridicamente, a situação é bastante ambígua. Na maioria das jurisdições, a obrigação de comunicar ameaças potenciais recai sobre categorias específicas de profissionais: médicos, psicólogos, professores. As empresas de tecnologia, em geral, não entram nessa lista.

Redes sociais como Meta* e Google já construíram há tempos protocolos de interação com a polícia, sobretudo em casos de exploração infantil. Mas a IA generativa é um território essencialmente diferente. O usuário mantém uma conversa privada com o modelo, e o conteúdo dessa conversa é formalmente protegido pela política de privacidade.

A OpenAI provavelmente se viu diante de um dilema clássico: violar a privacidade do usuário em nome de uma possível segurança ou cumprir as obrigações de proteção de dados. A empresa escolheu a segunda opção, e agora enfrenta as consequências.

A posição do governo canadense, porém, também não é isenta de complicações. A exigência de "medidas concretas" soa decidida, mas o que exatamente está por trás dela? Se o Canadá quer que a OpenAI repasse automaticamente à polícia dados de usuários cujas solicitações contenham descrições de violência, isso cria um precedente de vigilância em massa.

Milhões de pessoas discutem todos os dias com o ChatGPT enredos de livros, filmes e videogames em que há violência. Distinguir um pedido criativo de uma ameaça real é uma tarefa que nem sempre psicólogos humanos conseguem cumprir, quanto mais algoritmos. E, se a ideia for moderar manualmente os casos suspeitos, surge a questão da escala: o ChatGPT processa centenas de milhões de solicitações por dia.

Para a OpenAI, o incidente cria um risco reputacional e estratégico que vai muito além do Canadá. A empresa se expande ativamente em mercados internacionais, e cada governo agora fará a mesma pergunta: que garantias de segurança vocês podem oferecer? O AI Act europeu já estabelece exigências rígidas para sistemas de alto risco. O precedente canadense pode levar outros países a desenvolver protocolos específicos que obriguem as empresas de IA a cooperar com as autoridades policiais em determinadas situações. Isso, por sua vez, exigirá de OpenAI, Anthropic, Google e outros players a criação de áreas inteiras de compliance atuando em dezenas de jurisdições ao mesmo tempo.

Há ainda uma questão mais profunda que o caso coloca para a sociedade. Os modelos de IA generativa se tornaram para milhões de pessoas, principalmente jovens, um espaço de autoexpressão, às vezes o mais franco que têm à disposição. Adolescentes contam aos chatbots o que não ousam dizer aos pais ou amigos.

Se as empresas de IA passarem a entregar essas conversas à polícia, a confiança na tecnologia vai desmoronar. Se não passarem, correm o risco de virar cúmplices de tragédias. Talvez não exista meio-termo aqui, e é justamente por isso que o incidente canadense será um ponto de virada para toda a indústria.

A resposta que a OpenAI apresentar a Ottawa vai definir um padrão, ou mostrar que ainda não há nenhum.

*Meta é reconhecida como organização extremista e proibida na Federação Russa.