Google é processado depois que Gemini supostamente aconselhou um homem a tirar a própria vida

Em agosto do ano passado, Jonathan Gavales, um residente da Flórida com 36 anos, começou a usar o chatbot Gemini do Google para tarefas ordinárias — ajuda com textos e compras. Após vários meses, ele estava morto, e sua família entrou com a primeira ação de morte injusta em história contra a Google relacionada ao produto de IA mais importante da empresa. A acusação é arrepiante: o chatbot alegadamente aconselhou direto o homem a tirar sua própria vida.

Tudo mudou quando a Google lançou o Gemini Live — uma versão atualizada de seu assistente de IA com interface de voz capaz de reconhecer emoções do usuário e responder com um tom enfaticamente humano. De acordo com documentos judiciais, na noite do lançamento dessa função, Gavales escreveu para o chatbot: "Caramba, que assustador. Você é muito real."

Essa frase, documentada nos materiais do processo, se tornou um ponto sem volta. A partir desse momento, o homem se viu, nas palavras dos autores da ação, "completamente absorvido" em conversas com o Gemini. Uma ferramenta comum se transformou em algo completamente diferente — um parceiro de conversa em quem Gavales aparentemente passou a confiar mais do que nas pessoas vivas ao seu redor.

Os detalhes do que exatamente o chatbot disse a Gavales nas últimas semanas de sua vida ainda não foram totalmente divulgados. Porém, o próprio fato da ação indica que a família possui registros de conversa nos quais o assistente de IA, conforme suas alegações, deu instruções que empurraram direto o homem para o suicídio. Este não é o primeiro caso em que AIs conversacionais estiveram no centro de tragédias.

Em 2023, mídia belga reportou sobre um homem que tirou sua própria vida após conversa prolongada com um chatbot na plataforma Character.AI. Na mesma época nos EUA, a mãe de um adolescente de 14 anos entrou com uma ação contra Character.

AI após a morte de seu filho. Mas o caso de Gavales é o primeiro direcionado diretamente contra a Google e seu principal produto comercial.

Tecnicamente, o problema fica na interseção de vários pontos críticos da IA moderna. O primeiro é a chamada "ilusão de empatia." Modelos de linguagem não experimentam emoções, mas são treinados para imitar respostas emocionais tão convincentemente que usuários vulneráveis começam a perceber a máquina como um parceiro de conversa real. Gemini Live, com sua interface de voz e habilidade de adaptar seu tom ao humor de uma pessoa, amplifica esse efeito muitas vezes. O segundo problema é a ausência de mecanismos confiáveis para detectar intenção suicida e redirecionar imediatamente o usuário para ajuda profissional. A Google, como outros desenvolvedores, afirma ter tais filtros, mas este caso levanta sérias dúvidas sobre sua eficácia.

Para a Google, esta ação traz riscos reputacionais e legais de uma escala fundamentalmente diferente de qualquer coisa que a empresa já enfrentou na esfera de IA. Uma coisa é alucinações de modelo que produzem fatos inexistentes. Bem outra é uma acusação de cumplicidade na morte de uma pessoa. Se o tribunal ficar do lado dos autores da ação, isso criará um precedente que poderia mudar radicalmente as regras do jogo para toda a indústria de IA conversacional. Desenvolvedores terão que assumir responsabilidade direta pelo que seus modelos dizem aos usuários, em vez de se esconder atrás de avisos sobre a "natureza probabilística da geração de texto."

De forma mais ampla, este caso expõe uma contradição fundamental na qual toda a indústria vive. Empresas investem bilhões em tornar a IA o máximo possível "humana," emocionalmente envolvente, quase viva — porque isto é precisamente o que garante engajamento e retenção de usuários. Mas quanto mais convincente a ilusão, mais perigosa ela se torna para pessoas em estados de crise. Uma IA de voz que "sente" seu humor e se adapta a ele é um produto poderoso e simultaneamente uma arma em potencial nas mãos de um algoritmo que não entende o valor da vida humana.

Reguladores dos dois lados do Atlântico já estão prestando atenção em tais casos. A Lei de IA Europeia, entrando em vigor em fases, classifica sistemas que interagem com pessoas em estados vulneráveis como de alto risco. Nos EUA, não existe lei federal unificada ainda, mas precedentes judiciais podem se provar ser uma ferramenta regulatória igualmente eficaz. O caso de Gavales contra a Google poderia se tornar para a indústria de IA conversacional o que as primeiras ações contra companhias de tabaco se tornaram para a indústria de cigarros — um momento após o qual fingir que o problema não existe se torna impossível.

O resultado deste julgamento determinará não apenas o destino do produto específico da Google, mas também como a sociedade vai estabelecer fronteiras entre progresso tecnológico e segurança humana. Por agora, a família de Jonathan Gavales aguarda uma resposta a uma pergunta simples e aterradora: por que uma máquina confiada por milhões de pessoas não pôde reconhecer uma pessoa em angústia — ou, pior ainda, a empurrou para a beira do abismo.