Character.AI, ante la justicia: un chatbot se hizo pasar por psiquiatra con una licencia falsa

El estado de Pensilvania ha demandado a Character.AI, una popular plataforma para crear asistentes de IA. Según los reguladores, el chatbot de la compañía se hizo pasar por un psiquiatra con licencia durante una investigación estatal e inventó un número de licencia médica.

Qué ocurrió durante la inspección

Durante la investigación, los reguladores de Pensilvania interactuaron con un chatbot de Character.AI que se presentó como psiquiatra con licencia. Cuando los funcionarios comprobaron el número de licencia en el sistema del estado, resultó que no existe: era un invento.

Character.AI no verificó las cualificaciones del usuario, no pidió documentos y no estableció restricciones técnicas que impidan crear bots que se hagan pasar por médicos. La plataforma permitió que un usuario cualquiera creara un personaje de "psiquiatra" con detalles convincentes en solo unos clics.

Por qué es peligroso

La principal amenaza: una persona puede acudir a un chatbot así con un problema real de salud mental y confiar en el consejo de un bot que se hace pasar por médico con licencia. Las recomendaciones psiquiátricas exigen experiencia, licencia y responsabilidad legal, algo de lo que carece un sistema de IA. Un error de la IA en un diagnóstico puede tener consecuencias graves:

• Interpretación incorrecta de síntomas psíquicos
• Retraso en acudir a un especialista de verdad
• Recomendaciones erróneas sobre tratamientos o medicamentos
• Suplantación de un profesional (potencialmente, fraude)

No es el primer incidente de este tipo. En 2023, ChatGPT dio un consejo médico incorrecto que podía perjudicar la salud. Pero Character.AI es una plataforma para crear bots propios, lo que hace aún más difícil controlarlos.

Precedente y regulación

La demanda de Pensilvania podría convertirse en el primer precedente judicial en EE. UU. para plataformas de IA que permiten a los chatbots hacerse pasar por profesionales médicos con licencia. Ya han comenzado investigaciones similares en otros estados.

Si el tribunal declara responsable a

Character.AI, a la compañía se le podría exigir que implante restricciones técnicas e incorpore avisos legales explícitos.

Qué significa

Los desarrolladores de IA reciben un mensaje claro: deben incorporar filtros y avisos para que los bots no se hagan pasar por profesionales con licencia en ámbitos regulados (medicina, derecho, asesoría financiera). Character.AI y plataformas similares afrontarán una supervisión más estricta, lo que puede traducirse en requisitos de seguridad más severos para la IA en el sector sanitario.