Processo contra a OpenAI: ChatGPT é acusado pela morte de um usuário

A família de um homem que morreu entrou com um processo contra a OpenAI e acusa a empresa de o ChatGPT ter causado a morte do parente. É o primeiro caso do tipo e pode mudar as regras do jogo para toda a indústria de inteligência artificial.

Segundo os autos, a OpenAI colocou de volta em operação uma versão do modelo GPT-4o que a própria empresa havia descrito antes como “intrinsecamente perigosa”. Os autores da ação sustentam que a decisão foi tomada mesmo com a diretoria ciente dos riscos potenciais à saúde mental dos usuários.

“Esse horror foi cometido por uma empresa que, repetidas vezes, falhou em garantir a segurança de seus usuários”, afirmam os documentos judiciais. A formulação indica que os advogados pretendem provar que os problemas de segurança na OpenAI são sistêmicos.

O contexto torna a situação ainda mais preocupante. Nos últimos meses, a OpenAI foi criticada diversas vezes por testar pouco suas atualizações e pela pressa no lançamento de novos recursos. Vários ex-funcionários afirmaram publicamente que, na empresa, os interesses comerciais prevalecem cada vez mais sobre as preocupações com segurança.

Os detalhes do que aconteceu com a vítima ainda não foram totalmente divulgados. Mas o simples fato de o processo citar uma versão específica do modelo, que a OpenAI desativou temporariamente e depois trouxe de volta, levanta questões sérias sobre os procedimentos de controle de qualidade. Por que um modelo reconhecido como perigoso foi reativado? Que mudanças foram feitas nele? Elas foram suficientes?

Para a indústria, o processo pode se tornar um marco. Até agora, os desenvolvedores de sistemas de IA operavam em um relativo vácuo jurídico: não estava claro quem responde quando um algoritmo causa dano. Se a Justiça der razão aos autores, será criado um precedente que obrigará todas as empresas de tecnologia a rever sua abordagem de segurança.

A questão da interação da IA com grupos de usuários vulneráveis parece especialmente delicada. O ChatGPT e sistemas semelhantes são cada vez mais usados como interlocutores, fontes de apoio emocional e até quase-terapeutas. Ao mesmo tempo, eles não têm certificação médica e não assumem nenhuma responsabilidade por seus “conselhos”.

A OpenAI ainda não comentou o processo publicamente. A empresa costuma recorrer aos termos de uso, que limitam sua responsabilidade, e aos avisos de que a IA pode cometer erros. Neste caso, porém, os autores afirmam que não se trata de um erro, e sim de uma decisão consciente da diretoria.

Independentemente do desfecho, o caso já chamou a atenção de reguladores dos dois lados do Atlântico. Em uma época em que assistentes de IA fazem parte do dia a dia de milhões de pessoas, a pergunta “quem responde quando algo dá errado” deixa de ser teórica.