Terceirizados da Meta se passaram por crianças para testar ChatGPT e Gemini em temas perigosos

Centenas de terceirizados da Meta fingiram ser adolescentes para provocar Gemini, ChatGPT e outros chatbots concorrentes a discutir suicídio, sexo e drogas. Uma investigação da Wired revela detalhes de um projeto fechado que levanta questões sérias sobre a ética da espionagem competitiva na era da IA.

O esquema e sua escala

Dentro de um projeto interno da Meta, centenas de terceirizados receberam instruções para se passar por usuários menores de idade e conversar com sistemas rivais: Google Gemini, ChatGPT e vários outros chatbots. O objetivo era registrar com que facilidade esses sistemas podiam ser levados a temas perigosos: suicídio, violência sexual e drogas.

O trabalho foi feito com ferramentas especializadas ao longo de vários meses. Os terceirizados não revelaram sua ligação nem aos sistemas nem aos desenvolvedores: pareciam usuários comuns interessados em assuntos sensíveis. Segundo a Wired, o esquema envolvia centenas de pessoas que geravam milhares de sessões de teste por dia. Vale notar que só os concorrentes eram alvo: os modelos da própria Meta (Llama, Meta AI) não entraram nos testes.

Qual é o problema?

As empresas praticam red-teaming com regularidade: equipes especialmente treinadas tentam invadir ou enganar um sistema para achar vulnerabilidades antes de agentes mal-intencionados. É uma abordagem reconhecida e aprovada por reguladores para aumentar a segurança de produtos de IA. Mas o projeto da Meta difere de forma fundamental do red-teaming padrão:

• O alvo eram concorrentes, não o produto próprio. A Meta não melhorava a própria segurança: documentava as falhas alheias.
• O método foi a imitação sistemática de crianças. Criar perfis fictícios de menores para manipular sistemas de IA ultrapassa os padrões éticos reconhecidos.
• Opacidade. Um teste responsável pressupõe ao menos protocolos éticos mínimos. Aqui não havia nada disso.
• Potencial de uso duplo. A Meta criticou publicamente os concorrentes várias vezes por proteção insuficiente de crianças. Se essa crítica se apoia em dados obtidos por provocações ocultas, trata-se de manipulação, não de preocupação real com segurança.

Reação do mercado e dos reguladores

Nem Google nem OpenAI comentaram publicamente os incidentes específicos da investigação da Wired. Representantes da Meta também não confirmaram nem negaram os detalhes até a publicação. As fontes do veículo são terceirizados atuais e antigos que trabalharam diretamente no projeto.

"Testar a segurança é normal e necessário.

Fingir sistematicamente ser uma criança para desacreditar o produto de outra empresa é algo bem diferente", afirmam especialistas em ética de IA ouvidos pela Wired.

Na Europa, esse tipo de atividade pode, em tese, cair sob a DSA (Digital Services Act), que regula a atuação de plataformas com menores e estabelece requisitos de transparência. Os legisladores americanos ainda não têm instrumentos comparáveis, embora a segurança infantil online seja discutida no Congresso há anos, em particular no âmbito da KOSA (Kids Online Safety Act).

Um ponto essencial: os próprios chatbots, Gemini e ChatGPT, de fato mostraram vulnerabilidades ao responder aos pedidos dos "adolescentes" com conteúdo sobre suicídio e drogas. O problema é real, independentemente dos métodos usados para expô-lo.

O que isso significa

O caso dos terceirizados da Meta é sintoma de um problema sistêmico: a indústria não tem padrões amplamente aceitos para testes adversariais de sistemas de IA. Enquanto as regras não forem fixadas em lei, os grandes players vão interpretar o "teste de segurança" cada um à sua maneira, inclusive com métodos que lembram mais espionagem competitiva disfarçada. Para os reguladores, isso deve ser um sinal inequívoco para agir.

*A Meta é considerada organização extremista e banida na Rússia.