Contratistas de Meta se hicieron pasar por niños para probar ChatGPT y Gemini con temas peligrosos

Cientos de contratistas de Meta se hicieron pasar por adolescentes para provocar a Gemini, ChatGPT y otros chatbots de la competencia y llevarlos a hablar de suicidio, sexo y drogas. Una investigación de Wired revela los detalles de un proyecto cerrado que plantea preguntas serias sobre la ética del espionaje competitivo en la era de la IA.

El esquema y su escala

Dentro de un proyecto interno de Meta, cientos de contratistas recibieron instrucciones de hacerse pasar por usuarios menores de edad y conversar con sistemas rivales: Google Gemini, ChatGPT y varios chatbots más. El objetivo era registrar con qué facilidad se podía llevar a esos sistemas hacia temas peligrosos: suicidio, violencia sexual y drogas.

El trabajo se realizó con herramientas especializadas durante varios meses. Los contratistas no revelaron su vinculación ni a los sistemas ni a sus desarrolladores: parecían usuarios corrientes interesados en temas delicados. Según Wired, la operación involucró a cientos de personas que generaban miles de sesiones de prueba al día. Llama la atención que solo se puso la lupa sobre la competencia: los modelos propios de Meta (Llama, Meta AI) no formaron parte de las pruebas.

¿Cuál es el problema?

Las empresas practican el red-teaming con regularidad: equipos especialmente entrenados intentan vulnerar o engañar a un sistema para hallar fallos antes que los atacantes. Es un enfoque reconocido y aprobado por los reguladores para mejorar la seguridad de los productos de IA. Pero el proyecto de Meta se distingue de forma fundamental del red-teaming estándar:

• El objetivo eran los competidores, no el producto propio. Meta no mejoraba su seguridad: documentaba las debilidades ajenas.
• El método fue la suplantación sistemática de niños. Crear perfiles ficticios de menores para manipular sistemas de IA excede los estándares éticos reconocidos.
• Opacidad. Una prueba responsable implica al menos protocolos éticos mínimos. Aquí no hubo nada de eso.
• Posible doble uso. Meta ha criticado públicamente en varias ocasiones a sus competidores por proteger poco a los niños. Si esa crítica se apoya en datos obtenidos mediante provocaciones encubiertas, es manipulación, no preocupación real por la seguridad.

Reacción del mercado y de los reguladores

Ni Google ni OpenAI han comentado públicamente los incidentes concretos de la investigación de Wired. Los representantes de Meta tampoco confirmaron ni desmintieron los detalles en el momento de la publicación. Las fuentes del medio son contratistas actuales y anteriores que trabajaron directamente en el proyecto.

«Probar la seguridad es normal y necesario.

Fingir sistemáticamente ser un niño para desacreditar el producto de otro es algo muy distinto», opinan expertos en ética de la IA consultados por Wired.

En Europa, esta actividad podría quedar sujeta a la DSA (Digital Services Act), que regula el trato de las plataformas con menores y fija requisitos de transparencia. Los legisladores estadounidenses aún no cuentan con herramientas comparables, aunque la seguridad infantil en línea se debate en el Congreso desde hace años, en particular en el marco de la KOSA (Kids Online Safety Act).

Un punto esencial: los propios chatbots, Gemini y ChatGPT, sí mostraron vulnerabilidades, al responder a las solicitudes de los «adolescentes» con contenido sobre suicidio y drogas. El problema es real, con independencia de los métodos empleados para detectarlo.

Qué significa

El caso de los contratistas de Meta es síntoma de un problema sistémico: la industria carece de estándares comúnmente aceptados para las pruebas adversarias de sistemas de IA. Mientras las reglas no se fijen por ley, los grandes actores interpretarán las «pruebas de seguridad» cada uno a su manera, incluidos métodos que se parecen más a un espionaje competitivo encubierto. Los reguladores deberían tomarlo como una señal inequívoca para actuar.

*Meta está declarada organización extremista y prohibida en Rusia.