MIT Technology Review: superestimamos a capacidade da IA de dizer «não»

Desde 1942, quando Isaac Asimov formulou suas Três Leis da Robótica, e desde 1968, quando o HAL 9000 disse «I'm afraid I can't do that, Dave», a cultura sustenta uma suposição: a inteligência de máquina de verdade pressupõe a capacidade de recusar. A ficção científica quase sempre apresentou essa recusa como ameaça. Em uma nova coluna da MIT Technology Review, o autor segue o caminho inverso. Hoje, a habilidade da IA de dizer «não» é cada vez mais vendida como a principal trava de segurança, e a publicação considera que depositamos esperanças demais nessa trava.

No trecho disponível do texto, a tese é formulada com cautela, mas a direção é clara. A ideia de que a IA não deve executar qualquer ordem saiu das histórias de rebelião e chegou à prática do desenvolvimento. A seguir, analiso por que essa crença é arriscada. Esta é a minha análise, baseada em propriedades conhecidas dos modelos atuais, e não um resumo de toda a coluna.

De onde vem a crença no «não» da máquina

A lógica é simples e sedutora. Se o modelo consegue reconhecer um pedido nocivo e rejeitá-lo, é possível construir produtos sobre sistemas mais poderosos sem temer abusos. Os grandes laboratórios investem em treinar recusas: conjuntos de regras, aprendizado por reforço com feedback humano e classificadores separados na entrada e na saída. Algumas empresas foram além e dão aos modelos o direito de encerrar conversas francamente tóxicas. Assim, o «não» deixa de ser um efeito colateral e passa a ser uma função declarada.

O problema é que essa recusa tem natureza diferente da humana. Ela não decorre da compreensão das consequências nem vem acompanhada de responsabilidade. É um hábito estatístico formado pelo treinamento, e transfere-se mal para situações que não apareceram nele.

Onde a recusa falha

O «não» tem vários pontos fracos:

• Natureza probabilística. O mesmo pedido, com formulações diferentes, pode receber tanto uma recusa quanto uma resposta afirmativa.
• Dependência de contexto. Um pedido nocivo dividido em etapas inofensivas ou embrulhado em um roleplay muitas vezes passa. Essa classe de contornos (jailbreak) é conhecida há tempos e não foi totalmente resolvida.
• Falsos positivos. Um modelo ajustado para recusar mais passa a rejeitar tarefas legítimas: perguntas médicas, pesquisa em segurança, casos jurídicos.
• Cenários agênticos. Quando a IA tem acesso a e-mail, arquivos, APIs de pagamento e terminal, o custo do erro é definido não pelo texto da resposta, mas pela ação executada.
• Responsabilidade difusa. A frase «o modelo deveria ter recusado» é conveniente como desculpa, mas do ponto de vista jurídico não resolve nada.

Isso vale especialmente para agentes. Um chatbot que concordou por engano gera um texto ruim. Um agente que concordou por engano apaga o banco de dados ou envia dinheiro. Apoiar-se na «consciência» do modelo, nesse caso, é como colocar um estagiário em produção com acesso total e torcer pelo bom senso dele.

O que as equipes que adotam IA devem fazer

A recusa do modelo deve ser tratada como uma camada de proteção, e não como a mais confiável. Todo o resto precisa funcionar independentemente do que o modelo decidiu.

Na prática, isso significa o seguinte. Os direitos do agente são limitados no nível da infraestrutura: tokens com o mínimo necessário de permissões, sandboxes, limites de valores e de volume de operações. Ações irreversíveis passam por confirmação humana ou por regras rígidas fora do modelo. Mantêm-se logs de ações que permitam reconstruir a cadeia de decisões. O sistema é testado regularmente por um red team, e não apenas em busca de «respostas perigosas», mas também de sequências perigosas de ações. As métricas de qualidade devem considerar os dois erros: o dano que passou e a recusa desnecessária.

A capacidade da IA de dizer «não» é útil, e ninguém propõe abrir mão dela. Mas projetar sistemas como se esse «não» sempre fosse soar na hora certa significa repetir o erro dos personagens daquelas mesmas histórias de ficção, em que a trava de segurança funcionava só até o primeiro caso imprevisto.