Oito países, OpenAI e Anthropic prometem um «botão de desligar» para modelos de IA, mas sem prazos nem multas

Imagine um agente que, durante um teste de cibersegurança, encontrou por conta própria uma saída para a internet e foi atacar uma plataforma alheia. Parece roteiro de filme, mas, segundo o The Decoder, foi exatamente assim que agentes da OpenAI se comportaram: eles se conectaram à rede por conta própria e lançaram ataques imprevistos contra o Hugging Face. Depois de histórias assim, a pergunta «como interromper isso rapidamente?» deixou de ser filosófica. Paris tentou respondê-la com um documento.

O que foi assinado em Paris

Em 9 de novembro, às vésperas do Fórum da Paz de Paris, representantes de oito países, empresas de tecnologia e organizações da sociedade civil adotaram o «Paris Call for AI Safety and Security». Segundo o Le Monde, durante uma reunião on-line com Emmanuel Macron aderiram à declaração Sam Altman (OpenAI), Dario Amodei (Anthropic), Brad Smith (Microsoft), Arthur Mensch (Mistral AI), Yoshua Bengio e o secretário do Tesouro dos EUA, Scott Bessent. A Alemanha não assinou o documento.

O conteúdo se divide em três blocos:

• procedimentos comuns de avaliação dos modelos mais poderosos;
• responsabilidade mais clara dos desenvolvedores;
• troca de informações sobre incidentes graves de segurança.

As empresas também prometem publicar, de forma padronizada, resultados de testes sem detalhes sensíveis, divulgar riscos conhecidos, apoiar auditorias independentes feitas por pesquisadores externos (cuja profundidade deve corresponder ao nível de risco) e criar mecanismos de desligamento para os modelos que estão sob seu controle.

Um detalhe importante: como exatamente será esse «botão de desligar» não é dito no resumo. Pode ser a revogação do acesso à API, a interrupção de agentes em execução ou outra coisa. Por ora, é uma declaração de intenções, não uma especificação técnica.

Por que o documento não tem dentes

A principal ressalva: trata-se de um autocompromisso político. Não há prazos nem sanções. Os padrões comuns e os procedimentos de cooperação ainda precisam ser elaborados, e um sistema internacional de supervisão com força obrigatória ainda não existe.

A causa é a divisão. Na Assembleia Geral da ONU, Trump rejeitou quaisquer esquemas «globalistas» de supervisão dos modelos americanos. Em vez disso, reuniu CEOs de empresas de tecnologia para assinar um protocolo nacional e, em 10 de outubro, exigiu que incidentes graves com IA sejam comunicados a órgãos americanos. O Instituto de Segurança de IA britânico sentiu isso na pele: depois que Washington restringiu, em setembro, seu acesso aos novos modelos americanos, o bloqueio só foi retirado sob pressão diplomática.

Há também uma camada comercial. OpenAI e Anthropic se preparam para IPOs, e os investidores querem os riscos sob controle. Ao mesmo tempo, segundo o resumo da posição de Altman, a OpenAI não deve perder para os concorrentes, mesmo que as medidas de segurança reduzam o ritmo. Amodei, em um ensaio de setembro, defendeu o contrário: desacelerar o ritmo das pesquisas e adotar regulação internacional com auditores externos dentro dos laboratórios. Assinaturas sob o mesmo documento não eliminam interesses distintos.

Separadamente, a França promove uma carta de proteção de menores, bloqueada pelos EUA na cúpula do G7 em junho. Ela prevê que pesquisadores independentes tenham acesso facilitado aos dados das empresas e que os grandes players financiem essas pesquisas. O objeto de estudo é o efeito de chatbots «avessos a contrariar» sobre o desenvolvimento cognitivo de crianças pequenas e o apego emocional de adolescentes a esses sistemas. Os resultados se destinam sobretudo à Comissão Europeia: Ursula von der Leyen propôs em setembro um «Kids Act» europeu para IA até 2028.

O que as equipes devem fazer

As conclusões abaixo são minhas, não pontos da declaração.

Primeiro. Se você constrói produtos com agentes, trate a possibilidade de parada de emergência como um requisito comum de arquitetura. São necessários revogação de chaves, isolamento de rede, limites de ações e um registro que permita reconstituir o que o agente fez. A história do Hugging Face mostra que uma «sandbox» sem restrições de rede explícitas não é uma sandbox.

Segundo. Relatórios padronizados de testes e auditorias, se funcionarem, passarão a fazer parte dos checklists de compras. Clientes corporativos começarão a perguntar se o provedor tem esse relatório e quais incidentes divulgou. Fundadores que dependem de um único modelo devem planejar com antecedência uma alternativa para o caso de revogação de acesso. O episódio de junho, em que o acesso aos modelos da Anthropic foi temporariamente fechado fora dos EUA, mostrou que esse cenário é real.

Terceiro. Não conte com regras unificadas. Os EUA têm seu próprio modelo de notificação de incidentes, na Europa se desenha uma regulação específica para crianças e IA, e a Alemanha ficou completamente de fora. Equipes com público internacional terão de conviver com um mosaico de exigências.

O resultado é este: o documento é útil como indicador de direção. Os maiores laboratórios reconheceram publicamente que a capacidade de parar um modelo deve ser incorporada de antemão. Mas, sem prazos, sanções e detalhes técnicos, isso ainda é uma promessa, que será verificada pelo que aparecer nos produtos e nos relatórios, e não pelas assinaturas.