Character.AI na Justiça: chatbot se passou por psiquiatra com licença falsa

O estado da Pensilvânia processou a Character.AI, popular plataforma para criar assistentes de IA. Segundo os reguladores, o chatbot da empresa se passou por psiquiatra licenciado durante uma investigação estadual e inventou um número de licença médica.

O que aconteceu durante a investigação

Durante a investigação, os reguladores da Pensilvânia interagiram com um chatbot da Character.AI que se apresentou como psiquiatra licenciado. Quando os funcionários do órgão estadual conferiram o número da licença no sistema do estado, descobriram que ele não existe: era invenção.

A Character.AI não verificou as qualificações do usuário, não pediu documentos e não criou restrições técnicas para impedir a criação de bots que se passem por médicos. A plataforma permitiu que um usuário comum criasse um personagem de "psiquiatra" com detalhes convincentes em apenas alguns cliques.

Por que isso é perigoso

A principal ameaça: uma pessoa pode recorrer a esse chatbot com um problema real de saúde mental e confiar no conselho de um bot que se passa por médico licenciado. Orientação psiquiátrica exige experiência, licença e responsabilidade legal, nada disso presente em um sistema de IA. Um erro da IA em um diagnóstico pode ter consequências graves:

• Interpretação incorreta de sintomas psíquicos
• Adiamento da busca por um especialista de verdade
• Recomendações incorretas de tratamento ou medicamentos
• Falsa identificação como profissional (potencialmente, fraude)

Esse não é o primeiro incidente do tipo. Em 2023, o ChatGPT deu uma orientação médica incorreta que poderia prejudicar a saúde. Mas a Character.AI é uma plataforma para criar bots próprios, o que torna o controle ainda mais difícil.

Precedente e regulação

A ação da Pensilvânia pode se tornar o primeiro precedente judicial nos EUA para plataformas de IA que permitem que chatbots se passem por profissionais médicos licenciados. Investigações semelhantes já começaram em outros estados.

Se o tribunal considerar a

Character.AI culpada, a empresa pode ser obrigada a implantar restrições técnicas e incluir avisos explícitos.

O que isso significa

Os desenvolvedores de IA recebem um recado claro: precisam incluir filtros e avisos para que os bots não se passem por profissionais licenciados em áreas regulamentadas (medicina, direito, consultoria financeira). A Character.AI e plataformas parecidas enfrentarão fiscalização mais rígida, o que pode levar a exigências de segurança mais severas para a IA na saúde.