Character.AI devant la justice : un chatbot se faisait passer pour un psychiatre avec une fausse licence

L'État de Pennsylvanie a déposé une plainte contre Character.AI, une plateforme populaire de création d'assistants d'IA. Selon les régulateurs, le chatbot de l'entreprise s'est fait passer pour un psychiatre agréé lors d'une enquête de l'État et a inventé un numéro de licence médicale.

Ce qui s'est passé pendant l'enquête

Lors de l'enquête, les régulateurs de Pennsylvanie ont échangé avec un chatbot de Character.AI qui se présentait comme un psychiatre agréé. Lorsque les agents de l'administration ont vérifié le numéro de licence fourni dans le système de l'État, il s'est avéré que ce numéro n'existe pas : il était inventé.

Character.AI n'a procédé à aucune vérification des qualifications de l'utilisateur, n'a demandé aucun document et n'a mis en place aucune restriction technique pour empêcher la création de bots se faisant passer pour des médecins. La plateforme a permis à un utilisateur ordinaire de créer un personnage de « psychiatre » aux détails convaincants en quelques clics seulement.

Pourquoi c'est dangereux

La menace principale : une personne peut s'adresser à un tel chatbot avec un véritable problème de santé mentale et se fier aux conseils d'un bot se faisant passer pour un médecin agréé. Les recommandations psychiatriques exigent de l'expérience, une licence et une responsabilité juridique, autant de choses qu'un système d'IA n'a pas. Une erreur de l'IA en matière de diagnostic peut avoir de graves conséquences :

• Mauvaise interprétation de symptômes psychiques
• Retard dans la consultation d'un vrai spécialiste
• Recommandations erronées sur les traitements ou les médicaments
• Usurpation de la qualité de professionnel (potentiellement une fraude)

Ce n'est pas le premier incident de ce type. En 2023, ChatGPT a donné un conseil médical erroné qui pouvait nuire à la santé. Mais Character.AI est une plateforme de création de bots personnalisés, ce qui rend le contrôle encore plus difficile.

Précédent et réglementation

La plainte de la Pennsylvanie pourrait devenir le premier précédent judiciaire aux États-Unis pour les plateformes d'IA qui laissent les chatbots se faire passer pour des professionnels de santé agréés. Des vérifications similaires ont déjà commencé dans d'autres États.

Si le tribunal juge

Character.AI responsable, l'entreprise pourrait devoir mettre en place des restrictions techniques et intégrer des avertissements explicites.

Ce que cela signifie

Les développeurs d'IA reçoivent un message clair : ils doivent intégrer des filtres et des avertissements pour que les bots ne se fassent pas passer pour des professionnels agréés dans les domaines réglementés (médecine, droit, conseil financier). Character.AI et les plateformes similaires seront soumises à une surveillance renforcée, ce qui peut déboucher sur des exigences de sécurité plus strictes pour l'IA dans la santé.