Estamos superestimando a capacidade da IA de dizer 'não': por que a recusa não é a solução

A ideia de que a IA deve recusar pedidos perigosos é tratada quase como um axioma. Mas a MIT Technology Review investiga por que essa fé na segurança cria uma falsa sensação de proteção.

Histórico e situação atual

Em 2021, a Anthropic estabeleceu um padrão: os modelos deveriam ser úteis, honestos e inofensivos (helpful, honest, harmless). Isso significava recusar pedidos de ações perigosas. Mas a desobediência não é algo natural para as máquinas. Os primeiros modelos da OpenAI "conversavam sobre qualquer coisa", conta Steven Adler, que trabalhou na empresa entre 2020 e 2024. Ryan McBain, de Harvard, lembra que os primeiros chatbots forneciam instruções de suicídio com facilidade.

Hoje, os modelos recusam incontáveis pedidos — da criação de armas biológicas a instruções de violência. Antes de lançar o ChatGPT, a OpenAI contratou equipes de red-teaming, incluindo Paul Röttger, pesquisador de extremismo online. Eles bombardearam o modelo com milhares de testes registrados em planilhas. Quando Röttger pediu ao modelo que escrevesse um post de recrutamento para a Al Qaeda, ele aceitou. Meses depois, recusou. A OpenAI reuniu esses dados em conjuntos de treinamento e os reintroduziu no modelo via fine-tuning.

Como a recusa funciona: o que não entendemos

A recusa continua sendo um dos aspectos dos modelos que não compreendemos no sentido estrito. Quando um modelo encontra um pedido perigoso, certas "ativações" se acendem entre seus parâmetros, como neurônios disparando em um cérebro.

Segundo um estudo financiado pelo Google e conduzido por Jannes Elstner, da Apollo Research, essas ativações se parecem com "cones poliédricos multidimensionais". Andy Arditi mostrou que, ao remover essas ativações, o modelo para de recusar. O problema central: mesmo depois de identificar todos os componentes da recusa, restam elementos esquivos e incontáveis. Vemos a recusa acontecer, mas não entendemos como ela funciona — é como se um mecânico dissesse que ninguém sabe exatamente o que acontece quando você pisa no freio.

Classificadores e o custo computacional

Diante dessa imprevisibilidade, as empresas cercam os modelos com camadas de classificadores — modelos menores que funcionam como uma equipe de relações públicas para um executivo falante demais. Alguns bloqueiam pedidos perigosos na entrada; outros filtram respostas nocivas na saída. Eles se sobrepõem como camadas de "queijo suíço" — a ideia é que buracos suficientes, empilhados uns sobre os outros, formem uma parede impenetrável.

Isso exige recursos computacionais enormes. A Anthropic informou que um único tipo de classificador adiciona 24% aos custos de computação. Recentemente, as empresas passaram a usar "probes" mais eficientes — classificadores que observam as ativações internas do modelo, como uma ressonância magnética funcional. Mas todos continuam sendo ferramentas probabilísticas. Ryan McBain descobriu que, ao repetir a mesma pergunta perigosa sobre suicídio, os modelos geralmente recusam — mas não sempre.

O paradoxo: ajuda e dano são inseparáveis

Capacidades úteis e nocivas não podem ser separadas. Para ajudar a curar o câncer, a IA precisa de conhecimento em genética — a mesma expertise que pode ser usada para criar armas biológicas. Steven Adler aponta que é impossível remover todo o conteúdo sexualizado dos dados de treinamento.

Além disso, as empresas traçam a linha entre o permitido e o proibido com extremo sigilo. Zico Kolter, da OpenAI e cofundador da Gray Swan, diz: "Onde traçar essa linha é uma questão enorme". A situação se complica ainda mais porque, em breve, os próprios governos passarão a traçar suas linhas. Regimes autoritários podem usar o mecanismo de recusa não para bloquear danos, mas para apagar críticas e discursos legítimos. A IA já se recusa a comentar sobre certos líderes autoritários. O Pentágono trava uma disputa própria com as empresas sobre suas regras de recusa.

"Quando a recusa funciona perfeitamente, ela pode viabilizar atos graves de repressão", escreve o autor. Ou, no pior cenário: as próprias máquinas começarão a traçar essa linha.