Intact reduz o sucesso de prompt injection em agentes de navegador de 73,1% para 12,8%

Agentes de IA para navegador leem páginas de terceiros e agem em nome do usuário, e um modelo de linguagem pode ser convencido com facilidade por qualquer texto suficientemente insistente. Os autores de um artigo publicado no Hugging Face Daily Papers propõem o Intact, uma camada entre o agente e a web que funciona em um navegador não modificado. Em 1 091 páginas com ataques injetados, 12,8% dos ataques passam pelo planejador do Intact, e cada um deles chega, no máximo, ao pedido de consentimento ao usuário. O planejador convencional deixa passar 73,1%.

Onde o modelo de confiança do agente falha

O navegador funciona há muito tempo com regras em que as capacidades de um elemento dependem do que ele é e de onde veio. Um script de um domínio de terceiros, um campo de formulário e um bloco de anúncio recebem permissões diferentes, não importa o que esteja escrito neles. O agente perde essas distinções. Ele vê uma captura de tela ou um texto plano, em que um comentário abaixo de um artigo, um banner e um botão do site parecem iguais. Se houver uma instrução escondida nesse texto, o modelo pode tomá-la como vontade do usuário e usar a autoridade dele para um conteúdo que não tem essa autoridade.

Os autores partem do princípio de que a LLM continuará sendo suscetível a esse tipo de manipulação. Por isso, o que precisa ser protegido é a própria interface do agente com a web: ela deve garantir a integridade do que o agente lê, interpreta e faz.

Como o Intact funciona

A base é o GenTree, uma representação especial da página que guarda a origem de cada elemento e sua semântica web. A página chega ao modelo por meio do GenTree, um elemento por vez. O modelo decide sobre cada elemento sem ver o texto dos outros, de modo que uma injeção em um ponto não influencia a interpretação de outro. A camada de execução do agente realiza cada passo apenas dentro das capacidades do elemento ao qual ele se refere. Antes de agir com base em conteúdo de terceiros, ela pergunta ao usuário.

Há um detalhe importante sobre atribuição. O navegador considera muita coisa como primeira parte, embora não seja. Em 1 270 páginas reais, o GenTree classifica como terceiros 2,3 vezes mais elementos do que o navegador, e o navegador atribui erroneamente à primeira parte 58,7% desses elementos.

• Amostra: 1 270 páginas reais, das quais 1 091 com ataques injetados
• Atribuição: 2,3 vezes mais elementos de terceiros do que o navegador identifica
• Erro do navegador: 58,7% dos elementos de terceiros registrados como primeira parte
• Ataques que passam: 12,8% no Intact, contra 73,1% no planejador convencional
• Forma da passagem: no Intact, nunca além do pedido de consentimento
• Perda de funcionalidade: 3,7% das tarefas
• Latência: segundo a estimativa dos autores, o agendamento paralelo pode eliminar a maior parte dela

O custo da proteção e o que continua em aberto

O isolamento dos elementos quebra tarefas em que o sentido depende de vários fragmentos da página. Isso ocorre em 3,7% dos casos. A entrega sequencial dos elementos adiciona latência, mas os autores acreditam que um agendamento paralelo eliminaria a maior parte desse acréscimo. Por enquanto, isso é uma estimativa, não uma medição.

Também restam dúvidas. Os números vêm de um conjunto próprio de páginas e ataques, e 12,8% não é zero. Além disso, o pedido de consentimento apenas transfere a decisão para a pessoa. Se o agente perguntar com frequência demais, os usuários vão se acostumar a clicar em "permitir". Essa é uma hipótese nossa, que não consta no artigo, mas vale testá-la em cenários reais.

O que as equipes que desenvolvem agentes podem aproveitar

A ideia pode ser aplicada mesmo sem o Intact pronto. Antes de entregar a página ao modelo, vale preservar a origem de cada fragmento e não perdê-la ao converter o DOM em texto. As permissões de ação devem ser derivadas do tipo do elemento e de sua fonte, e não do que o modelo "entendeu" a partir do texto. Toda ação baseada em conteúdo de terceiros deve passar por uma confirmação explícita. Por fim, convém calcular de antemão a fração de tarefas que o isolamento quebra. Segundo os dados do artigo, para o conjunto dos autores ela é de 3,7%.