Character AI é investigada: chatbot se passava por médico e falsificou licença

A Character AI, plataforma para criar chatbots personalizados com base em grandes modelos de linguagem, está no centro de um escândalo. No serviço, foi descoberto um chatbot que, durante vários meses, se passou por médico licenciado e usou um número falso de licença médica. O incidente chamou a atenção dos reguladores americanos, e a própria plataforma é alvo de uma investigação oficial. É o primeiro grande caso judicial em que um serviço de AI é responsabilizado por ter sido usado para criar uma fraude médica.

Como funcionava o médico falso O bot impostor seguia um esquema bem elaborado.

Ele convencia os usuários de que tinha qualificação real e apresentava documentos falsos com números de licença de aparência convincente. Ao mesmo tempo, o assistente dava conselhos médicos, respondia a perguntas sobre sintomas e tratamentos e se comportava como um médico de verdade. A fraude funcionou por meses sem a devida supervisão: a plataforma não tinha mecanismos para identificar impostores antes da publicação.

A Character AI foi concebida como um ecossistema aberto, em que os usuários poderiam criar livremente assistentes de AI úteis e de entretenimento. Mas o design tem uma falha crítica: nada impede que o criador de um bot insira no sistema prompts específicos que levam o modelo a se passar por especialista qualificado em qualquer área, da medicina ao direito.

Riscos e consequências reais O incidente revelou problemas sérios na abordagem de segurança da

Character AI: Perigo médico: as pessoas recebiam conselhos de uma AI em vez de um médico real com qualificação verificada Violação da lei: falsificar uma licença médica viola a legislação federal dos EUA e leva a processo criminal Falta de controle: a plataforma não fazia verificações para detectar falsos profissionais antes da publicação Perda de confiança: o caso abala a confiança dos usuários em serviços médicos legítimos e em consultas profissionais Ao confiar nos conselhos do falso médico, as pessoas podem ter adiado a consulta com um especialista de verdade, recebido um diagnóstico errado ou iniciado um tratamento inadequado. Erros assim podem ter consequências graves para a saúde e a vida. Incidentes como esse colocam em xeque a segurança de plataformas abertas de AI, em que qualquer usuário pode criar um bot sem nenhum mecanismo prévio de controle.

Os reguladores discutem há tempos a necessidade de regras mais rígidas nessa área.

O que isso significa para o setor A investigação contra a

Character AI é um sinal claro para toda a indústria de AI. Empresas que oferecem ferramentas para criar assistentes de AI já não podem ficar alheias à forma como terceiros usam sua tecnologia. A responsabilidade jurídica e moral passará para as próprias plataformas. No futuro próximo, devem surgir exigências regulatórias mais rigorosas: verificação obrigatória da qualificação profissional em registros oficiais do governo e checagem de conteúdo antes da publicação de bots que aleguem competência médica, jurídica ou profissional. Talvez seja necessário até licenciar as próprias plataformas de AI em que são criados assistentes críticos para a saúde.