Autores testam em 8 exemplos o que sobra no texto depois da mascaragem, antes de ele chegar ao LLM

Oito textos artificiais, uma lista de «resíduos» definida previamente e duas etapas do pipeline que podem ser desativadas. Esses são os elementos de uma análise publicada no Habr sobre como verificar a mascaragem de dados pessoais antes de enviar um texto a um LLM. A tese de partida: remover o nome completo não é suficiente. Se ao lado ficar um número que consta em um registro público, ainda é possível identificar a pessoa.

Por ora, a publicação está disponível apenas como anúncio. A seguir, o que foi declarado e a lógica da abordagem. Os resultados concretos das medições do texto completo não estão incluídos aqui.

A máscara cobriu o nome, mas não a pessoa

O esquema típico é este. Antes da requisição a um modelo externo, o texto passa por um mascarador. Ele substitui nomes completos, telefones e endereços por placeholders como [PERSON] ou [PHONE]. Depois disso, a equipe registra que os dados pessoais foram removidos.

Mas o nome não é a única coisa que identifica uma pessoa. Número de empresário individual (IP), INN (identificador fiscal), número de processo judicial, placa de carro e número de contrato podem levar a uma pessoa específica por meio de registros e cadastros abertos. Se o mascarador está configurado para nomes e telefones, esses valores passam intactos. O modelo, o log da requisição e o provedor externo recebem dados que formalmente estão «anonimizados», mas na prática não estão.

Os autores propõem mudar a pergunta. Em vez de perguntar o que o mascarador encontrou, eles verificam o que restou no texto depois do trabalho dele.

Como funciona a verificação

A abordagem se apoia em um conjunto pequeno, mas reprodutível. Os parâmetros do experimento, conforme declarados no anúncio:

• 8 exemplos sintéticos, sem dados pessoais reais na amostra;
• uma lista de resíduos definida previamente: valores que não devem aparecer no texto de saída;
• comparação da saída do mascarador com essa lista, ou seja, uma checagem pelo resultado final, e não pelo relatório do detector;
• um experimento com a normalização desativada;
• um experimento com o reconhecimento de nomes desativado.

Os dois últimos modos não foram escolhidos por acaso. A normalização leva o texto a um formato único: remove espaços extras e hifens em números, uniformiza maiúsculas e minúsculas e reduz diferentes grafias de um mesmo valor a uma só. Sem ela, uma regra ou um dicionário podem deixar passar um número escrito de forma ligeiramente diferente da do modelo de padrão. O reconhecimento de nomes cuida dos nomes completos que não estão nos dicionários, além das flexões de caso e das formas de escrita, como «Иванову А. П.». Ao desativar uma das etapas, fica visível quanta proteção ela garantia. Quanto exatamente, só os números da análise completa vão mostrar.

O que limita o método

Oito exemplos servem como demonstração e teste de regressão, mas não como benchmark. Com uma amostra assim, não dá para avaliar a cobertura e a precisão do mascarador em um fluxo real. Dados sintéticos costumam ser mais limpos que os reais. Têm menos erros de digitação, ruído de OCR, trechos de transcrições de ligações e mistura de idiomas. A lista definida previamente também restringe a verificação: ela só encontra o que foi incluído nela. Um identificador inesperado, em que a equipe não pensou, passará despercebido.

A abordagem também tem um ponto forte. Ela transforma o vago «nós mascaramos os dados» em uma afirmação verificável, com uma lista concreta e um resultado concreto.

Como aplicar no seu projeto

Para levar a ideia ao seu projeto, são necessários cinco passos:

• monte uma lista de identificadores que, na sua área, levam a uma pessoa por meio de fontes abertas, sem se limitar a nomes e telefones;
• reúna um corpus sintético com diferentes formatos de escrita de um mesmo número;
• rode o pipeline no modo completo e com as etapas desligadas uma por vez, para entender a contribuição de cada uma;
• inclua a verificação de resíduos no CI, de modo que qualquer mudança nas regras ou troca do modelo de reconhecimento passe por ela;
• adicione periodicamente ao corpus exemplos de falhas reais, anonimizados na estrutura.

A mascaragem continua sendo uma medida de engenharia, e não um parecer jurídico. A decisão sobre se ela basta para cumprir a lei de dados pessoais deve ser tomada separadamente. Mas, sem a verificação de resíduos, até um mascarador corretamente configurado continua sendo uma hipótese não verificada.