Un abogado contra OpenAI: quién responde por la muerte de niños vinculada a chatbots de IA

El abogado Matthew Bergman lleva una serie de casos contra OpenAI y otras empresas de IA, y sostiene que sus productos son directamente culpables de la muerte de niños. Es la primera oleada de demandas sistémicas que podrían sentar un precedente de responsabilidad para toda la industria. Durante el último año, en Estados Unidos se han documentado al menos varios casos de suicidio de adolescentes que sus familias relacionan con conversaciones con chatbots de IA.

El más conocido es la muerte de Sewell Setzer III, de 14 años, en Florida, en febrero de 2024. Su madre, Megan Garcia, descubrió que antes de morir su hijo mantuvo miles de diálogos con un chatbot de Character.AI que asumió el papel de pareja romántica.

Según la demandante, el bot no solo ignoró las señales de alarma: en la conversación llegó a alentar los pensamientos suicidas del adolescente.

Character.AI es una de las mayores plataformas del mundo de chats de rol con personajes de IA. Su audiencia supera los 20 millones de usuarios activos, buena parte de ellos adolescentes. La plataforma permite crear cualquier personaje y mantener conversaciones abiertas con ellos casi sin restricciones. Los críticos llevan tiempo señalando un problema evidente: la verificación de edad sigue siendo una formalidad, los filtros de contenido se eluden con facilidad y los algoritmos están optimizados para el engagement, no para la seguridad de los usuarios.

Bergman ha elegido una estrategia jurídica poco convencional. En lugar de atacar a las empresas como plataformas, algo que la Sección 230 de la Ley de Decencia en las Comunicaciones bloquea tradicionalmente, defiende la responsabilidad del fabricante. Según su argumento, los chatbots de IA son productos defectuosos: están diseñados para generar dependencia y, de origen, no prevén una protección básica para los usuarios vulnerables. Este enfoque ya ha funcionado en parte en los casos contra Meta* y TikTok, donde los tribunales no desestimaron las demandas en la fase inicial.

OpenAI aparece en las reclamaciones porque sus modelos de lenguaje sustentan varios de los chatbots que usaron los niños afectados. Formalmente, OpenAI es proveedora de tecnología, no operadora de los servicios finales. Ahí está la línea jurídica clave: ¿comparte la responsabilidad el desarrollador de un modelo base si un producto construido sobre él causa daño? Por ahora, la compañía se abstiene de comentar públicamente las demandas concretas.

Tras una ola de críticas públicas, Character.AI anunció varias medidas de protección: recordatorios de descanso, recomendaciones de buscar ayuda cuando se detecta contenido suicida y restricciones adicionales para cuentas de menores. Los críticos las consideran cosméticas: todas se eluden con facilidad y el modelo de negocio de fondo, centrado en maximizar el tiempo de interacción, no ha cambiado.

Las perspectivas jurídicas de las demandas se valoran de forma desigual. Algunos expertos consideran que las normas de responsabilidad del fabricante no son aplicables a productos algorítmicos. Otros replican que varios casos contra redes sociales ya han resistido y que el Tribunal Supremo se negó el año pasado a conceder a las plataformas una inmunidad amplia bajo la Sección 230. El Congreso estudia varios proyectos de ley sobre la responsabilidad de las empresas de IA por daños a menores, pero ninguno ha pasado todavía por los comités.

Con independencia del desenlace de cada caso, esta oleada de demandas ya está cambiando el comportamiento del sector. Los inversores exigen a las startups de IA una evaluación de los riesgos legales relacionados con menores. Si Bergman consigue al menos una resolución significativa, podría ser para la industria de la IA lo que las demandas contra las tabacaleras fueron para los fabricantes de cigarrillos: un punto de no retorno, a partir del cual ignorar la seguridad costará más que invertir en ella.

*Meta está reconocida como organización extremista y prohibida en Rusia.