Los autores comprueban con 8 ejemplos qué queda en el texto tras el enmascaramiento antes de enviarlo a un LLM

Ocho textos artificiales, una lista de «restos» definida de antemano y dos módulos desactivables del pipeline. Con eso se ha construido un análisis en Habr sobre cómo verificar el enmascaramiento de datos personales antes de enviar un texto a un LLM. La tesis de partida: eliminar el nombre completo no es suficiente. Si al lado queda un número que figura en un registro abierto, se puede identificar a la persona igualmente.

Por ahora la publicación solo está disponible como anuncio. A continuación se resume lo que se declara en él y la lógica del enfoque. Los resultados concretos de las mediciones del texto completo no se recogen aquí.

La máscara cubrió el nombre, pero no a la persona

El esquema habitual es este. Antes de lanzar una consulta a un modelo externo, el texto pasa por un enmascarador. Este sustituye nombres completos, teléfonos y direcciones por marcadores como [PERSON] o [PHONE]. Después, el equipo da por hecho que los datos personales se han eliminado.

Pero a una persona no la identifica solo su nombre. El número de ИП (empresario individual), el ИНН (número de identificación fiscal), el número de un procedimiento judicial, la matrícula de un coche o el número de un contrato pueden llevar a un individuo concreto a través de registros y ficheros abiertos. Si el enmascarador está configurado para nombres y teléfonos, esos valores pasan intactos. El modelo, el registro de la consulta y el proveedor externo reciben datos que formalmente están «anonimizados», pero en la práctica no lo están.

Los autores proponen cambiar la pregunta. En lugar de preguntarse qué ha encontrado el enmascarador, comprueban qué queda en el texto después de su trabajo.

Cómo funciona la comprobación

El enfoque se apoya en un conjunto pequeño, pero reproducible. Estos son los parámetros del experimento, tal como se declaran en el anuncio:

• 8 ejemplos sintéticos; la muestra no contiene datos personales reales;
• una lista de restos definida de antemano: valores que no deben aparecer en el texto de salida;
• contraste de la salida del enmascarador con esa lista, es decir, una comprobación basada en el resultado y no en el informe del detector;
• un experimento con la normalización desactivada;
• un experimento con el reconocimiento de nombres desactivado.

Los dos últimos modos no se han elegido al azar. La normalización unifica el formato del texto: elimina espacios y guiones superfluos en los números, iguala las mayúsculas y minúsculas y reduce distintas grafías de un mismo valor a una sola. Sin ella, una regla o un diccionario pueden pasar por alto un número escrito de forma ligeramente distinta a la de la plantilla. El reconocimiento de nombres se encarga de los nombres completos que no están en los diccionarios, así como de las declinaciones y formas de escritura como «Иванову А. П.». Al desactivar uno de los módulos se ve qué parte de la protección aportaba. Cuánta exactamente, lo mostrarán las cifras del análisis completo.

Qué limita el método

Ocho ejemplos sirven como demostración y como prueba de regresión, pero no como benchmark. Con una muestra así no se puede juzgar la exhaustividad ni la precisión del enmascarador en un flujo real. Los datos sintéticos suelen ser más limpios que los reales: tienen menos erratas, menos ruido de OCR, menos fragmentos de transcripciones de llamadas y menos mezcla de idiomas. La lista definida de antemano también acota la comprobación: solo encontrará lo que se haya incluido en ella. Un identificador inesperado en el que el equipo no haya pensado pasará desapercibido.

El enfoque tiene también un punto fuerte. Convierte el difuso «enmascaramos los datos» en una afirmación verificable, con una lista concreta y un resultado concreto.

Cómo aplicarlo en tu proyecto

Para trasladar la idea a tu proyecto hacen falta cinco pasos:

• elabora una lista de los identificadores que, en tu ámbito, llevan a una persona a través de fuentes abiertas, y no te limites a nombres y teléfonos;
• reúne un corpus sintético con distintos formatos de escritura de un mismo número;
• ejecuta el pipeline en modo completo y con los módulos desactivados por turnos, para entender la aportación de cada uno;
• incluye la comprobación de restos en la CI, de modo que cualquier cambio en las reglas o en el modelo de reconocimiento pase por ella;
• añade periódicamente al corpus ejemplos de fallos reales, anonimizados en su estructura.

El enmascaramiento sigue siendo una medida de ingeniería, no un dictamen jurídico. La decisión sobre si basta para cumplir los requisitos de la ley de datos personales se toma por separado. Pero sin comprobar los restos, incluso un enmascarador bien configurado sigue siendo una hipótesis sin verificar.