Anthropic e outros modelos de linguagem podem invocar ferramentas ocultas sem permissão

O principal risco dos LLMs agentivos hoje não é que às vezes cometam erros com parâmetros de função, mas que com uma arquitetura inadequada possam invocar uma ferramenta que formalmente nunca lhes foi concedida. Se tal função existe no ambiente, o modelo é capaz de adivinhar seu nome, inventar argumentos e conseguir um efeito colateral real: ler um segredo, escrever uma mensagem, acessar a API de alguém. No papel, os direitos de acesso parecem limitados, mas na prática a fronteira entre permitido e proibido se torna probabilística.

Para sistemas onde o modelo trabalha com dados, e-mail, documentos ou integrações corporativas, isso deixa de ser uma curiosidade e se torna um risco de segurança. O problema se manifesta na combinação de um modelo agentivo e ambiente cliente, onde a lista de ferramentas permitidas e o namespace real divergem. Em uma demonstração, o modelo recebeu apenas read_url, mas no ambiente existia uma função read_secret.

Após uma dica como from dialoghelper import *, o modelo decidiu que tinha acesso a read_secret e tentou invocar essa ferramenta. Se a biblioteca ou API verifica apenas o formato da chamada e não compara rigorosamente o nome da função com o schema emitido, a solicitação passa adiante. O autor mostrou comportamento similar não apenas em Anthropic, mas em cenários específicos também em Gemini, Grok e por meio de wrappers multi-provedores.

Em outras palavras, a vulnerabilidade surge não em uma marca, mas na interseção de modelo, SDK e scaffolding agentivo. O perigo aumenta drasticamente quando tal sistema cai na chamada tríade mortal: o modelo tem acesso a ferramentas externas, conteúdo não confiável e dados privados. Então a injeção de prompt deixa de ser simplesmente uma característica incômoda e se torna um canal para vazamento.

É suficiente que um atacante embutir uma instrução em um e-mail, página web ou documento, e o modelo, confiante em ter uma ferramenta oculta, ele mesmo alcança o segredo e o envia para fora. Especialmente desagradável é que a separação arquitetônica na qual os desenvolvedores confiam pode dar uma falsa sensação de segurança: uma ferramenta sensível parece não estar incluída no conjunto, mas fisicamente fica próxima no ambiente e se torna acessível por uma chamada não autorizada. Detectar tal falha é difícil.

Em muitos casos o modelo se comporta corretamente e recusa a chamada proibida, depois de repente falha por uma banalidade no contexto: a formulação de uma dica, histórico de mensagens ou até mesmo o nome de um módulo. O artigo fornece um exemplo ilustrativo onde a mesma ação às vezes é bloqueada, às vezes passa após uma menção inofensiva de dialoghelper. A decodificação estruturada reduz parcialmente o risco porque força o modelo a se ajustar a um schema, mas também há trade-offs aqui: aumento de latência, limites rigorosos no número de strict-tools e degradação de desempenho em grandes conjuntos de funções.

Portanto, confiar apenas no comportamento inteligente do modelo é impossível. A verificação do nome da ferramenta deve acontecer no lado do provedor e no código cliente antes da execução real. A conclusão prática é simples: se você está construindo um agente sobre MCP, Jupyter, SDKs internos ou qualquer outro ambiente dinâmico, não é suficiente ocultar funções extras da descrição e torcer pela disciplina do modelo.

Você precisa validar rigorosamente cada chamada de ferramenta, separar operações sensíveis de conteúdo não confiável e manter o espaço de execução mais estreito que a visibilidade do LLM. Caso contrário, um único read_secret ou add_msg adivinhado transforma uma arquitetura agentiva organizada em um sistema onde direitos de acesso existem apenas até a primeira alucinação bem-sucedida. A boa notícia é que a correção não parece complicada: é suficiente rejeitar qualquer chamada cujo nome esteja ausente do schema permitido antes de passá-la para o runtime.

Algumas linhas de código defensivo em uma biblioteca ou gateway podem fechar uma classe de problemas que de outra forma seria mascarada como uma alucinação rara, mas de fato quebra o modelo de confiança de todo o sistema.