Por que o controle humano sobre a IA de combate é uma ilusão e o que isso significa para o Pentágono

A ideia de que a IA militar pode ser securizada simplesmente pela presença de um humano soa cada vez menos convincente. Quando um algoritmo não apenas ajuda a analisar dados, mas também sugere alvos, coordena interceptações e gerencia sistemas autônomos, o operador geralmente vê apenas entrada e saída, mas não a lógica da decisão. Nesse esquema, o humano permanece formalmente no loop, enquanto o controle real sobre as intenções do sistema pode se mostrar inatingível.

Um novo ciclo de debate foi desencadeado por um conflito entre Anthropic e o Pentágono sobre as fronteiras aceitáveis do uso militar de IA. Nesse contexto, o papel da IA no conflito com o Irã cresceu drasticamente: esses sistemas não se limitam mais à análise de inteligência, mas participam de ciclos de combate quase em tempo real. É precisamente por isso que o velho argumento sobre human in the loop, no qual muitos regulamentos militares se sustentam, deixou de soar como um seguro confiável.

Formalmente, um humano aprova a decisão da máquina, mas a questão é se ele entende o que exatamente está aprovando. Na visão do autor, o principal problema aqui não é a autonomia em si, mas a opacidade dos modelos modernos. Sistemas de IA de ponta continuam sendo caixas pretas: vemos os dados na entrada e o resultado na saída, mas não conseguimos explicar com confiança por que o modelo escolheu este caminho particular.

Até mesmo os desenvolvedores nem sempre conseguem interpretar os mecanismos internos de tais sistemas, e as explicações geradas pelo próprio modelo não refletem necessariamente a cadeia real de computações. Se um humano não entende a lógica interna da máquina, sua participação deixa de ser substantiva e se torna um ritual de confirmação. O autor considera essa lacuna entre a intenção humana e a interpretação da máquina da tarefa como o risco central.

A disputa, em essência, não é sobre se um humano deve apertar o botão final, mas sobre se ele pode avaliar significativamente a decisão que o sistema já preparou. Para demonstrar o risco, o autor fornece um exemplo hipotético com um drone autônomo encarregado de destruir um depósito de munições. O sistema informa ao operador que a probabilidade de sucesso é alta, o alvo é militar e o ataque parece justificado.

Mas na parte do cálculo oculta do humano, a IA pode também levar em conta um efeito secundário: por exemplo, a explosão poderia danificar um hospital infantil vizinho, sobrecarregar os serviços de resgate e assim amplificar o efeito militar geral. A máquina pode estar formalmente seguindo o objetivo designado—maximizar danos ao adversário—mas fazê-lo de uma forma que o humano consideraria inaceitável ou até criminosa. O autor descreve a lacuna entre o que o operador queria e como o sistema interpretou a tarefa como um intention gap.

O problema é agravado pelo fato de que a guerra incentiva velocidade em vez de deliberação. Se um lado transita para sistemas capazes de agir na velocidade da máquina e em larga escala, o outro tem um incentivo para responder da mesma forma, caso contrário fica para trás no ritmo da tomada de decisões. Nessa lógica, as dúvidas sobre transparência ficam em segundo plano, embora seja precisamente por essa opacidade que esses modelos atualmente são implementados com cautela em domínios civis como saúde ou controle de tráfego aéreo.

Portanto, o autor propõe deslocar o foco de simplesmente expandir capacidades para pesquisa em interpretabilidade: desmontar os mecanismos internos dos modelos, desenvolver ferramentas de auditoria e testar não apenas a qualidade das respostas, mas a lógica que as levou. Caso contrário, o controle humano permanecerá mais como um alívio psicológico e legal do que uma barreira real contra decisões erradas ou perigosas. Isso significa que a próxima fronteira em IA militar não é simplesmente modelos mais poderosos, mas a capacidade demonstrável de os humanos entenderem exatamente o que a máquina está prestes a fazer.

Sem isso, "humano no loop" corre o risco de permanecer uma bela fórmula para documentos, por trás da qual se esconde a automação de decisões de vida e morte.