Como a limpeza de dados pessoais afeta agentes de LLM: o experimento do Hivetrace Dataclean

Limpar dados pessoais antes de enviá-los a um agente de LLM costuma parecer um passo óbvio em direção à segurança, mas o custo dessa decisão nem sempre é claro. Em um texto publicado no Habr AI, os autores verificaram o quanto muda o desempenho de um agente bancário quando, em vez de nomes completos reais e outros identificadores, ele recebe máscaras ou pseudônimos.

Onde surge o conflito

Agentes de LLM lidam cada vez mais com cenários de usuário em que dados pessoais são indispensáveis: solicitações bancárias, suporte, seguros, documentos, histórico de transações. Nesse ponto, a equipe sempre precisa escolher entre dois riscos. O primeiro é repassar os dados sensíveis ao modelo como estão e enfrentar questionamentos de privacidade, compliance e segurança interna. O segundo é limpar a entrada e perder parte do contexto que sustenta a lógica da resposta, a busca por entidades relacionadas e a precisão das ações.

«Quanto o agente degrada se, em vez de "Ivanov

Ivan", ele vê "PERSON_1" ou "XXXXXXXX"?»

Na prática, essa não é uma discussão acadêmica, e sim um problema de engenharia. Se o sistema deixa de perceber que o mesmo cliente aparece em vários trechos da solicitação, a qualidade do texto sofre — e a lógica de negócio também: o roteamento do caso, a conferência de dados cadastrais, a interpretação de status, a verificação da sequência de etapas. Por isso, o que importa não é a tese genérica de que «a anonimização ajuda» ou «a anonimização atrapalha», e sim uma resposta mensurável para uma classe específica de agentes e um método específico de limpeza.

Como a hipótese foi testada

Para o teste, os autores montaram um agente bancário minimalista e conectaram a ele o Hivetrace Dataclean. Em seguida, enviaram ao agente 102 consultas sintéticas em cada uma de três variantes de entrada: sem alterações, com mascaramento e com pseudônimos. A vantagem desse desenho é eliminar o ruído das histórias reais de usuários e permitir uma comparação controlada. Em todos os casos, o agente resolve a mesma tarefa, mas enxerga identificadores, nomes e outros atributos pessoais em formatos diferentes.

O método de avaliação merece destaque à parte. Os autores usaram o DeepEval no modo LLM-as-a-judge: em vez de comparar impressões subjetivas de um punhado de respostas, tentaram formalizar a qualidade por meio de um circuito de verificação único. Para uma pesquisa aplicada e rápida, é uma escolha sensata: ela não transforma as conclusões em «verdade absoluta», mas permite ver onde a degradação aparece de imediato e onde o agente continua útil mesmo depois da limpeza dos campos sensíveis.

Três modos de dados

A essência do experimento vai além de checar se o agente «funciona ou não funciona» após a anonimização: a ideia é comparar diferentes níveis de perda de contexto. Isso é especialmente relevante para sistemas de LLM, que dependem tanto do significado das palavras quanto das relações estáveis entre entidades dentro de um mesmo diálogo ou documento. Para o modelo, máscara completa e pseudonimização só parecem semelhantes à primeira vista; numa tarefa real, são sinais distintos.

• Dados limpos — cenário de referência, sem distorções.
• Máscara do tipo XXXXXXXX — privacidade máxima, semântica mínima.
• Pseudônimos do tipo PERSON_1 — ocultam a identidade, mas preservam as relações.
• 102 consultas sintéticas por modo — base para uma comparação justa.

De um teste assim, as equipes normalmente não tiram uma proibição ou permissão universal, e sim um mapa de trade-offs. Se o agente só precisa captar a intenção geral do usuário, uma máscara rígida pode ser aceitável. Já se a lógica depende de o mesmo objeto se repetir em vários trechos, os pseudônimos costumam ser a opção mais prática. É por isso que verificações desse tipo são especialmente úteis antes de implantar agentes em bancos, fintechs, saúde e qualquer processo em que erros com dados pessoais rapidamente saem caro.

O que isso significa

A principal conclusão do material é que a questão da anonimização para agentes de LLM não pode ser decidida na base da intuição. Antes de ir para produção, é preciso medir separadamente como um método específico de limpeza afeta um cenário específico: a compreensão da solicitação, a preservação das relações entre entidades e a qualidade final da resposta. Para equipes que constroem agentes de IA em domínios sensíveis, isso já deixou de ser opcional e passou a ser parte essencial da arquitetura e do circuito de testes.