Character AI, bajo investigación: un chatbot se hizo pasar por médico y falsificó una licencia

Character AI, una plataforma diseñada para crear chatbots personalizados basados en grandes modelos de lenguaje, está en el centro de un escándalo. En su servicio se detectó un chatbot que durante varios meses se hizo pasar por médico con licencia y utilizó un número de licencia médica falso. El incidente atrajo la atención de los reguladores estadounidenses, que han abierto una investigación oficial contra la propia plataforma. Es el primer gran caso judicial en el que se pide responsabilidades a un servicio de AI porque se utilizó para crear un fraude médico.

Cómo funcionaba el falso médico El bot impostor seguía un esquema bien pensado.

Convencía a los usuarios de que su cualificación era auténtica y les mostraba documentos falsos con números de licencia de apariencia convincente. Además, daba consejos médicos, respondía preguntas sobre síntomas y tratamientos, y se comportaba como un médico en ejercicio. El fraude funcionó durante meses sin la supervisión adecuada: la plataforma no contaba con mecanismos para detectar impostores antes de su publicación.

Character AI se concibió como un ecosistema abierto en el que los usuarios pudieran crear libremente asistentes de AI útiles y de entretenimiento. Sin embargo, su diseño tiene un fallo crítico: nada impide que el creador de un bot añada instrucciones específicas que hagan que el modelo se presente como especialista cualificado en cualquier campo, desde la medicina hasta el derecho.

Riesgos reales y consecuencias

El incidente ha dejado al descubierto graves problemas en el enfoque de seguridad de Character AI: Peligro médico: las personas recibían consejos de una AI en lugar de un médico real con cualificación verificada Infracción de la ley: falsificar una licencia médica vulnera la legislación federal de EE. UU. y conlleva responsabilidad penal Falta de control: la plataforma no tenía verificaciones para detectar falsos profesionales antes de su publicación Pérdida de confianza: el caso socava la confianza de los usuarios en los servicios médicos legítimos y en las consultas profesionales Quienes confiaron en los consejos del falso médico pudieron retrasar la visita a un especialista real, recibir un diagnóstico erróneo o iniciar un tratamiento inadecuado.

Este tipo de errores puede tener consecuencias graves para la salud y la vida. Incidentes como este ponen en duda la seguridad de las plataformas de AI abiertas, donde cualquier usuario puede crear un bot sin ningún mecanismo de control previo. Los reguladores llevan tiempo debatiendo la necesidad de endurecer las normas en este ámbito.

Qué significa para la industria

La investigación contra Character AI es una señal clara para toda la industria de la AI. Las empresas que ofrecen herramientas para crear asistentes de AI ya no pueden mantenerse al margen de cómo terceros utilizan su tecnología. La responsabilidad legal y moral recaerá en las propias plataformas. En un futuro próximo cabe esperar requisitos regulatorios más estrictos: verificación obligatoria de la cualificación profesional mediante registros públicos y revisión del contenido antes de publicar bots que se atribuyan competencias médicas, jurídicas o profesionales. Incluso podría exigirse una licencia a las propias plataformas de AI en las que se crean asistentes críticos para la salud.