Como a Limpeza de Dados Pessoais Afeta Agentes LLM: Experimento Hivetrace Dataclean

A limpeza de dados pessoais antes de enviar para um agente de LLM geralmente parece um passo óbvio em direção à segurança, mas o custo dessa solução nem sempre fica claro. Em um artigo do Habr AI, os autores testaram quanto o funcionamento de um agente bancário muda se, em vez de nomes completos reais e outros identificadores, ele recebe máscaras ou pseudônimos.

Onde surge o conflito dos agentes LLM

Agentes de LLM trabalham cada vez mais com cenários de usuário onde dados pessoais são indispensáveis: solicitações bancárias, suporte, seguros, documentos, histórico de transações. Nesse ponto, toda equipe enfrenta uma escolha entre dois riscos. Primeiro — passar dados sensíveis para o modelo como estão e enfrentar questões de privacidade, compliance e segurança interna. Segundo — limpar a entrada, mas perder parte do contexto em que o agente baseia sua lógica, descoberta de relacionamentos de entidades e precisão de ações.

"Quanto um agente se degrada se em vez de 'Ivanov

Ivan' ele vê 'PERSON_1' ou 'XXXXXXXX'?"

Na prática, este não é um debate acadêmico, mas uma tarefa de engenharia. Se o sistema deixa de entender que o mesmo cliente aparece em vários lugares em uma solicitação, isso afeta não apenas a qualidade do texto, mas a lógica de negócios: roteamento de casos, verificação de credenciais, interpretação de status, validação de sequência de etapas. Portanto, a questão não é uma tese geral "anonimização é útil" ou "anonimização atrapalha", mas uma resposta mensurável para uma classe específica de agentes e um método específico de limpeza.

Como a hipótese foi testada

Para testar a hipótese, os autores implantaram um agente bancário minimalista e integraram o Hivetrace Dataclean a ele. Em seguida, eles enviaram ao agente 102 solicitações sintéticas em três variantes de dados de entrada: sem modificações, mascaradas e com pseudônimos. Esse design é útil porque remove ruído de históricos reais de usuários e oferece uma comparação controlada. Em cada caso, o agente resolve a mesma tarefa, mas vê diferentes formas de identificadores, nomes e outros atributos pessoais.

O método de avaliação é particularmente importante. Os autores usaram DeepEval no modo LLM-as-a-judge — ou seja, compararam não impressões subjetivas de um par de respostas, mas tentaram formalizar a qualidade através de um único circuito de validação. Para pesquisa aplicada rápida, essa é uma abordagem razoável: não faz conclusões como "verdade absoluta", mas permite ver onde a degradação é imediatamente perceptível e onde o agente mantém utilidade mesmo depois que campos sensíveis são limpos.

Três modos de dados

A essência do experimento não é apenas verificar se o agente "funciona ou não funciona" após anonimização, mas comparar diferentes níveis de perda de contexto. Isso é especialmente importante para sistemas de LLM que dependem não apenas do significado das palavras, mas de relacionamentos estáveis entre entidades em um único diálogo ou documento. Mascaramento completo e pseudonimização parecem semelhantes a um modelo apenas à primeira vista: em uma tarefa real, estes são sinais diferentes.

• Dados limpos — cenário de linha de base sem distorções.
• Máscara como XXXXXXXX — máxima privacidade, mínima semântica.
• Pseudônimos como PERSON_1 — ocultam identidade mas preservam relacionamentos.
• 102 solicitações sintéticas por modo — oportunidade para comparação honesta.

De tal teste, equipes geralmente obtêm não uma proibição ou permissão universal, mas um mapa de compromissos. Se o agente só precisa da intenção geral do usuário, mascaramento rígido pode se provar aceitável. Se a lógica depende do mesmo objeto se repetindo em vários fragmentos, pseudônimos muitas vezes parecem uma opção mais prática. É precisamente por isso que tais verificações são especialmente úteis antes de implantar agentes em banca, fintech, medicina e qualquer processo onde erros em dados pessoais rapidamente se tornam caros.

O que isso significa

A principal conclusão do artigo é que a questão de anonimização para agentes de LLM não pode ser resolvida no nível da intuição. Antes da produção, você precisa medir separadamente como um método específico de limpeza afeta um cenário específico: compreensão de consultas, preservação de relacionamentos entre entidades e qualidade geral de resposta. Para equipes que constroem agentes de IA em domínios sensíveis, isso não é mais uma opção, mas uma parte fundamental da arquitetura e do circuito de teste.