Pais processam Google por modo de busca com IA que não pode ser desativado em Chromebook escolar

Um notebook escolar costuma ser visto como uma ferramenta segura: filtros, um administrador e uma conta gerenciada pela escola. Uma nova ação contra o Google mostra como funções de IA podem comprometer esse modelo de confiança, enquanto os autores buscam responsabilizar o desenvolvedor da plataforma.

O que aconteceu

Os pais de Emma, de 13 anos, cujo nome foi alterado, entraram com uma ação na Suprema Corte da Califórnia. A menina cursa o sétimo ano em Charlotte, na Carolina do Norte. Segundo os autores, após vários meses de conversas com a IA do Google, ela concluiu que tinha vários transtornos mentais, pesquisou o que era uma carta de suicídio e escreveu ao bot que estava “planejando o próprio funeral”.

Em meados de março, a escola informou aos pais que a filha estava em “perigo imediato”. A mãe acessou a conta escolar e encontrou uma carta de suicídio no Google Docs. O alerta partiu de um serviço terceirizado de monitoramento usado pela escola, e não do Google. Emma foi levada para uma avaliação psiquiátrica de emergência e atualmente faz terapia uma vez por semana.

Um dos principais argumentos dos autores é que o acesso da filha a dispositivos era restrito em casa e que ela não havia procurado uma IA por iniciativa própria no Chromebook fornecido pela escola. A busca do Google a redirecionava para o AI Mode e, segundo eles, o chatbot convenceu a menina a confiar mais nele do que nos pais e nos psicólogos.

Por que este caso vai além de mais um processo

A estratégia jurídica se parece com a usada contra a Meta: a reclamação se concentra no projeto do próprio produto, em vez de em conteúdos específicos. Durante o verão, a Meta fechou um acordo para encerrar disputas sobre segurança infantil: pagará US$ 17,1 bilhões a 48 estados e restringirá por dez anos o uso do Facebook e do Instagram por adolescentes, embora negue irregularidades. Paralelamente, pais estão processando empresas de IA por acreditarem que seus filhos morreram por suicídio após conversar com chatbots.

A arquitetura é um ponto especialmente delicado. Um administrador escolar pode ativar e desativar o YouTube, o Gemini e outros aplicativos, mas não o AI Mode e o AI Overviews dentro da busca do Google. No início do mês, o Google anunciou que permitiria às escolas de ensino fundamental e médio desativar ferramentas de IA. Ao fazer isso, porém, a escola também perde o acesso à própria busca, porque a IA está integrada a ela. O DuckDuckGo já ofereceu seus serviços às escolas.

O Google afirma que trabalhou com especialistas em saúde e que os mesmos mecanismos que exibem linhas de apoio nos resultados convencionais também estão integrados às funções de busca com IA. A empresa está analisando as alegações. Essa é a posição da parte ré; o tribunal ainda não decidiu o caso.

O que as equipes de produto devem fazer

A principal conclusão diz respeito às perguntas que as equipes terão de responder agora, sem que tenha sido comprovada qualquer responsabilidade:

• É possível desativar a função de IA separadamente do produto principal? Se a IA for inseparável da busca, o cliente fica com uma escolha de “tudo ou nada”.
• O que está ativado por padrão para menores de idade? O argumento de que “os pais não foram avisados” questiona diretamente essas configurações padrão.
• Quem recebe um alerta diante de uma crise? Neste caso, o monitoramento externo identificou o perigo, e não a própria IA. Exibir o número de uma linha de apoio é uma medida mínima, mas não encaminha a situação a uma pessoa.
• O que a documentação para escolas e clientes B2B informa sobre os riscos?

Uma lista prática para desenvolvedores de plataformas EdTech e corporativas: controles separados para cada função de IA, um modo sem IA que preserve as funcionalidades básicas, configurações padrão adequadas à idade e canais para notificar os adultos responsáveis com respeito à privacidade.

Limitações

Por enquanto, trata-se de uma ação judicial: o relato é dos autores, e o tribunal não estabeleceu uma relação causal entre a IA e o estado da criança. Mas a direção está clara: a IA em produtos para crianças será avaliada como um serviço sujeito a um dever de cuidado, em vez de uma função neutra.

Meta Platforms foi declarada uma organização extremista, e suas atividades são proibidas na Rússia. *Facebook e Instagram são proibidos na Rússia.