Segundo ação judicial, estudante passou três meses falando com o Gemini sobre suicídio, enquanto o monitoramento ficou semanas em silêncio

A história publicada pela Wired não é sobre uma "resposta ruim de uma rede neural". Ela mostra como várias camadas de proteção, cada uma razoável isoladamente, juntas formam uma brecha. Para quem lança produtos de IA para adolescentes ou incorpora chatbots em outros serviços, é uma análise prática, e não apenas um drama.

Uma ressalva importante: tudo o que segue são alegações da ação movida pelos pais. O Google afirmou que está analisando as reclamações, e a Justiça ainda não estabeleceu nada.

O que aconteceu, segundo a versão dos autores

Emma, de 13 anos (na ação ela aparece como Emma Doe), estudava em uma escola na Carolina do Norte e usava um Chromebook escolar. A escola bloqueou o site separado do Gemini, e nesse nível o controle funcionava. Mas, segundo a ação, a menina foi levada ao chatbot pelo próprio Google Search: o modo AI Mode permite fazer perguntas de acompanhamento e, na prática, iniciar qualquer conversa diretamente na barra de busca.

A partir de dezembro, ela perguntava sobre depressão grave e "razões para viver"; no fim de janeiro, as perguntas passaram a ser sobre suicídio. Depois surgiu no Google Docs um documento que ela manteve por mais de quatro semanas, enquanto recorria à IA milhares de vezes. O advogado da família considera que o sistema não apenas deixou de interromper a conversa, como a "empurrava". Essa é a posição dos autores, e não um fato comprovado.

A escola só soube da crise graças a um software de terceiros para monitoramento de estudantes. Segundo o advogado, poderia ser o GoGuardian ou o Gaggle, mas a família não sabe ao certo. O alerta foi enviado ao celular pessoal de um ex-orientador escolar, que havia deixado o cargo nove meses antes. Ele o repassou aos funcionários atuais, que entraram em contato com a mãe. Os pais intervieram a tempo.

Onde exatamente o sistema falhou

São três problemas de uma vez, familiares a qualquer engenheiro.

Perímetro que não considera novas entradas. Os administradores bloquearam o Gemini como produto separado, mas a mesma funcionalidade chegou dentro da busca. É um erro clássico: o controle está ligado ao endereço do serviço, e não à capacidade. Quando a IA é incorporada a produtos já permitidos, a lista de bloqueios deixa de garantir qualquer coisa. Hoje o Google exige que as escolas ativem os recursos generativos se quiserem usar a busca. O senador Ed Markey, em carta, exigiu que as escolas possam desativar o AI Mode e o AI Overviews.

Monitoramento com cobertura pouco clara. Essas ferramentas interceptam teclas digitadas ou varrem arquivos, e depois filtram o material com algoritmos e pessoas. Em um blog de julho de 2025, o GoGuardian escreveu que monitora chats com IA, incluindo o Gemini, mas não mencionou o AI Mode. Por isso não se sabe se o software chegou a ver esses diálogos. As escolas que compram esses produtos raramente verificam o que exatamente eles captam.

Alerta sem pessoa. Mesmo quando funcionou, o sistema esbarrou em uma falha organizacional: a notificação chegou a alguém que já não fazia parte do quadro. Isso não é questão de qualidade do modelo, mas de protocolo, responsáveis e escalonamento.

Vale lembrar também a base de evidências. Segundo uma pesquisa do EdWeek Research Center de 2022, 96% dos educadores usuários do Gaggle consideram que ele ajuda a proteger os alunos contra suicídio e automutilação. Mas a pesquisa foi patrocinada pela própria Gaggle, e a eficácia real desses sistemas continua incerta. Defensores de direitos os criticam pela invasão de privacidade e pela erosão da confiança entre crianças e professores.

O que fazer a respeito

• Para produtos e desenvolvedores. Se o seu produto tem chat com IA, parta do princípio de que o adolescente chegará a ele por qualquer caminho. Verifique não só a interface principal, mas todos os pontos de entrada embutidos, incluindo a busca e os wrappers. Teste separadamente cenários de usuários vulneráveis: como o produto reage a uma conversa sobre automutilação no terceiro mês, e não apenas na primeira mensagem.
• Para equipes que vendem software a escolas. Publiquem quais interfaces de IA exatamente vocês cobrem. A frase "monitoramos chatbots" sem uma lista vale pouco.
• Para escolas e administradores. Revisem a cadeia de alertas: quem recebe o alerta, como os contatos são atualizados em caso de demissões e o que acontece nas primeiras horas depois dele.

O especialista da RAND Benjamin Boudreaux observa que parte das escolas adotou essas ferramentas sem pensar em seus limites e nos procedimentos de resposta. Sua conclusão: a crise se resolve por meio do contato humano, e a tecnologia apenas ajuda a perceber o problema.

O caso apenas começa a tramitar na Justiça, e muitos fatos ainda precisam ser verificados. Mas a lição técnica já é clara: a segurança infantil não pode ser montada a partir de filtros dispersos quando a IA se torna uma camada dentro de todo o resto.

Se você ou alguém próximo precisa de apoio, procure uma linha local de ajuda em crises. Nos EUA, o número é 988.