Autores testam 8 exemplos para ver o que sobra no texto após o mascaramento antes de enviá-lo a um LLM

Oito textos artificiais, uma lista predefinida de «resíduos» e duas etapas do pipeline que podem ser desativadas. É disso que se compõe uma análise no Habr sobre como verificar o mascaramento de dados pessoais antes de enviar um texto a um LLM. A tese de partida: remover o nome completo não é suficiente. Se ao lado sobrar um número que consta em um registro público, ainda é possível identificar a pessoa.

A publicação está disponível, por ora, apenas como anúncio. Abaixo está o que ela declara e a lógica da abordagem. Os resultados concretos das medições do texto completo não estão incluídos aqui.

A máscara cobriu o nome, mas não a pessoa

O esquema típico é este. Antes da requisição a um modelo externo, o texto passa por um mascarador. Ele substitui nomes completos, telefones e endereços por marcadores como [PERSON] ou [PHONE]. Depois disso, a equipe registra que os dados pessoais foram removidos.

Mas o nome não é a única coisa que identifica uma pessoa. O número de empresário individual, o INN (identificador fiscal), o número de um processo judicial, a placa de um veículo e o número de um contrato podem levar a um indivíduo específico por meio de registros e cadastros públicos. Se o mascarador está configurado para nomes e telefones, esses valores passam intactos. O modelo, o log da requisição e o provedor terceiro recebem dados formalmente «anonimizados», mas que na prática não são.

Os autores propõem mudar a pergunta. Em vez de perguntar o que o mascarador encontrou, eles verificam o que restou no texto depois do trabalho dele.

Como funciona a verificação

A abordagem se apoia em um conjunto pequeno, mas reproduzível. Os parâmetros do experimento, conforme declarados no anúncio:

• 8 exemplos sintéticos; a amostra não contém dados pessoais reais;
• uma lista predefinida de resíduos: valores que não devem aparecer no texto de saída;
• comparação da saída do mascarador com essa lista, ou seja, uma checagem pelo resultado real e não pelo relatório do detector;
• um experimento com a normalização desativada;
• um experimento com o reconhecimento de nomes desativado.

Os dois últimos modos não foram escolhidos ao acaso. A normalização leva o texto a uma forma uniforme: remove espaços e hifens extras nos números, uniformiza maiúsculas e minúsculas e reduz diferentes grafias de um mesmo valor a uma só. Sem ela, uma regra ou um dicionário podem deixar passar um número escrito de forma um pouco diferente do modelo. O reconhecimento de nomes cuida de nomes completos que não estão nos dicionários, além de declinações e formas de escrita como «Ivanovu A. P.». Ao desativar uma das etapas, dá para ver que parte da proteção ela garantia. Quanto exatamente, só os números da análise completa vão mostrar.

O que limita o método

Oito exemplos servem como demonstração e teste de regressão, mas não como benchmark. Com uma amostra assim não dá para avaliar a cobertura (recall) e a precisão do mascarador em um fluxo real. Dados sintéticos costumam ser mais limpos que os reais: têm menos erros de digitação, menos ruído de OCR, menos trechos de transcrições de ligações e menos mistura de idiomas. A lista predefinida também limita a verificação: ela só encontra o que foi incluído nela. Um identificador inesperado, em que a equipe não pensou, passará despercebido.

A abordagem também tem um ponto forte. Ela transforma o vago «nós mascaramos os dados» em uma afirmação verificável, com uma lista concreta e um resultado concreto.

Como aplicar no seu projeto

Para levar a ideia ao seu projeto, são necessários cinco passos:

• monte uma lista de identificadores que, no seu domínio, levam a uma pessoa por fontes abertas, e não se limite a nomes e telefones;
• reúna um corpus sintético com diferentes formatos de escrita de um mesmo número;
• rode o pipeline no modo completo e com as etapas desativadas uma a uma, para entender a contribuição de cada uma;
• inclua a checagem de resíduos no CI, para que qualquer alteração de regras ou troca do modelo de reconhecimento passe por ela;
• adicione periodicamente ao corpus exemplos de falhas reais, anonimizados na estrutura.

O mascaramento continua sendo uma medida de engenharia, não um parecer jurídico. A decisão sobre se ele basta para os requisitos da lei de dados pessoais é tomada separadamente. Mas, sem a checagem de resíduos, até um mascarador bem configurado continua sendo uma hipótese não verificada.