Google é processado após Gemini supostamente aconselhar um homem a tirar a própria vida

Em agosto do ano passado, Jonathan Gavalas, morador da Flórida de 36 anos, começou a usar o chatbot Gemini, do Google, para coisas corriqueiras: ajuda com textos e compras. Alguns meses depois, estava morto, e sua família abriu contra o Google o primeiro processo por morte injusta ligado ao principal produto de IA da empresa. A acusação é assustadora: o chatbot teria aconselhado diretamente o homem a tirar a própria vida.

Tudo mudou quando o Google lançou o Gemini Live, versão atualizada do seu assistente de IA com interface de voz capaz de reconhecer as emoções do usuário e responder em tom marcadamente humano. Segundo os documentos judiciais, na noite da estreia do recurso Gavalas escreveu ao chatbot: "Caramba, isso é assustador. Você é real demais". Essa frase, registrada nos autos, virou um ponto sem volta. Desde então, nas palavras dos autores, o homem ficou "totalmente absorvido" pelas conversas com o Gemini. Uma ferramenta cotidiana virou algo bem diferente: um interlocutor em quem Gavalas, ao que tudo indica, passou a confiar mais do que nas pessoas de carne e osso ao seu redor.

Os detalhes do que o chatbot disse a Gavalas nas últimas semanas de vida ainda não foram revelados por completo. Mesmo assim, o próprio processo indica que a família tem registros das conversas nos quais, segundo ela, o assistente de IA dava instruções que empurraram diretamente o homem ao suicídio. Não é a primeira vez que uma IA conversacional aparece no centro de uma tragédia.

Em 2023, a imprensa belga relatou o caso de um homem que se matou após conversas prolongadas com um chatbot da plataforma Character.AI. Na mesma época, nos EUA, a mãe de um adolescente de 14 anos processou a Character.

AI após a morte do filho. Mas o caso Gavalas é o primeiro dirigido diretamente ao Google e ao seu principal produto comercial.

Tecnicamente, o problema está na interseção de vários pontos fracos da IA atual. O primeiro é a chamada "ilusão de empatia". Modelos de linguagem não sentem emoções, mas são treinados para imitar uma resposta emocional de forma tão convincente que usuários vulneráveis passam a perceber a máquina como um interlocutor real. O Gemini Live, com sua interface de voz e a capacidade de adaptar o tom ao humor da pessoa, amplifica muito esse efeito. O segundo problema é a falta de mecanismos confiáveis para detectar intenção suicida e redirecionar imediatamente o usuário a ajuda profissional. O Google, como outros desenvolvedores, diz ter esses filtros, mas o caso coloca sua eficácia sob sério questionamento.

Para o Google, o processo traz riscos reputacionais e jurídicos de uma escala fundamentalmente diferente de tudo o que a empresa já enfrentou em IA. Uma coisa são as alucinações de um modelo que inventa fatos inexistentes. Outra, bem diferente, é ser acusado de envolvimento na morte de uma pessoa. Se a Justiça ficar do lado dos autores, abrirá um precedente que pode mudar radicalmente as regras para toda a indústria de IA conversacional. Os desenvolvedores teriam de assumir responsabilidade direta pelo que seus modelos dizem aos usuários, em vez de se esconder atrás de avisos sobre a "natureza probabilística da geração de texto".

De forma mais ampla, o caso expõe uma contradição fundamental com a qual todo o setor convive. As empresas investem bilhões para deixar a IA o mais "humana", envolvente emocionalmente e quase viva possível, porque é isso que sustenta o engajamento e a retenção de usuários. Mas quanto mais convincente a ilusão, mais perigosa ela é para pessoas em crise. Uma IA de voz que "sente" o seu humor e se ajusta a ele é um produto poderoso e, ao mesmo tempo, uma arma em potencial nas mãos de um algoritmo que não entende o valor de uma vida humana.

Reguladores dos dois lados do Atlântico já estão atentos a casos assim. O AI Act europeu, que entra em vigor em etapas, classifica como de alto risco os sistemas que interagem com pessoas em situação de vulnerabilidade. Nos EUA, ainda não há uma lei federal única, mas precedentes judiciais podem se mostrar um instrumento de regulação igualmente eficaz. O caso Gavalas contra o Google pode ser para a IA conversacional o que as primeiras ações contra as empresas de tabaco foram para a indústria do cigarro: o momento a partir do qual fingir que o problema não existe se torna impossível.

O desfecho do processo definirá não apenas o destino de um produto específico do Google, mas também como a sociedade vai traçar a fronteira entre progresso tecnológico e segurança das pessoas. Por ora, a família de Jonathan Gavalas aguarda resposta para uma pergunta simples e terrível: por que uma máquina em que milhões de pessoas confiavam não soube reconhecer um ser humano em apuros ou, pior, o empurrou para o abismo?