En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

El ajuste fino de un modelo NER elevó del 39,5% al 91,8% la proporción de secretos comerciales ocultos

En un CRM, un descuento del 12% puede ser un secreto o una condición pública, y solo el primero debe enmascararse. El autor afinó el modelo NER GLiNER (287 millones de parámetros), que localiza un fragmento de texto y determina su tipo. La proporción de secretos ocultos por completo subió del 39,53% al 91,84%, y las máscaras falsas sobre menciones públicas pasaron de 368 a 8 de 575. Para condiciones que dependen del contexto, conviene afinar un modelo compacto con los datos propios.

Procesado por IA desde Habr AI; editado por Hamidun News
El ajuste fino de un modelo NER elevó del 39,5% al 91,8% la proporción de secretos comerciales ocultos
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Exact F1, donde deben coincidir tipo y límites, subió del 22,51% al 94,13%
El corpus es sintético5 000 textos para entrenamiento y 1 000 para test
Dato clave #3LoRA entrena 589 824 parámetros, alrededor del 0,21% del modelo

Imagine un CRM en el que los gerentes llevan años escribiendo notas sobre sus operaciones. Antes de entregarlas a un contratista, a un equipo de analítica o a un prompt de un modelo grande, hay que cubrir con una máscara las condiciones secretas. El problema es que un mismo valor puede ser un secreto o información abierta.

En la nota «acordamos con el cliente un descuento del 12%, condiciones no públicas» hay que ocultar el 12%, pero en la frase «el descuento del 12% se aplica a todos los compradores» no se debe tocar. Las expresiones regulares no ayudan aquí: decide el contexto, no el formato. Un autor en Habr afinó para esta tarea el modelo GLiNER, de la clase NER (reconocimiento de entidades nombradas: encontrar un fragmento de texto y determinar su tipo).

En una prueba sintética corta, la proporción de secretos ocultos por completo subió del 39,53% al 91,84%. Las menciones públicas enmascaradas por error pasaron de 368 a 8 de 575. La métrica Exact F1, en la que el tipo y los límites del fragmento deben coincidir exactamente con la referencia, subió del 22,51% al 94,13%.

Si limpia datos antes de enviarlos a un LLM, el experimento muestra qué aporta el ajuste fino al dominio propio.

Qué se entrenó y con qué

Se partió de fastino/gliner2.5-multi-v1: unos 287 millones de parámetros y un codificador mDeBERTa. Junto con el texto, al modelo se le pasan los nombres y descripciones de los tipos buscados, de modo que un mismo esquema de seis tipos de entidades se puede ejecutar tanto antes como después del entrenamiento. El modelo devuelve los fragmentos encontrados, sus tipos y sus puntuaciones de confianza. El JSON y el texto final con las máscaras los genera código convencional: sustituye los fragmentos de derecha a izquierda para que la longitud de una máscara ya insertada no desplace las coordenadas de las demás.

El autor fijó de antemano los límites del secreto. Si se oculta un acuerdo de bonificación, hay que enmascarar «3% de la facturación anual en compras de 500 unidades o más», y no solo «3%». En un calendario de pagos, la máscara cubre tanto los porcentajes como los plazos.

Todos los textos son ficticios. El corpus de 6 500 registros se dividió en 5 000 para entrenamiento, 500 para elegir la versión de los pesos y el umbral de confianza, y 1 000 para la evaluación final. Los textos los montó un generador a partir de 336 componentes. Una cuarta parte de los documentos no contiene secretos y hay pares contrastivos en los que un mismo valor es unas veces no público y otras ya publicado. El entrenamiento se hizo en una sola RTX 3090 de 24 GB: tres épocas y un batch efectivo de 16.

Ajuste fino completo, LoRA y umbral de confianza

El autor comparó el ajuste fino completo con LoRA, DoRA, rsLoRA y QLoRA. En la receta elegida, los adaptadores LoRA se colocan solo en encoder.query y encoder.value. Se entrenan 589 824 parámetros, alrededor del 0,21% del modelo base, y el resto de los pesos permanece congelado.

La versión de los pesos y el umbral se eligieron en una partición dev independiente, y el test no participó en la selección de ajustes. Para el ajuste fino completo ganó la segunda época con un umbral de confianza del 95%; para LoRA, la tercera época con un umbral del 90%; para rsLoRA, la primera con un umbral del 90%. El criterio fue un micro-F1 estricto. En caso de empate, se prefería la variante con menos máscaras falsas sobre valores públicos.

En comprobaciones adicionales, el autor sustituyó el etiquetado original por etiquetas de DeepSeek y entrenó un GLiNER aparte. También añadió Qwen y Gemma con cabezas NER y probó todos los reconocedores con documentos largos. En la parte accesible del material no hay resultados de estas comprobaciones, por lo que no se pueden comparar los enfoques a partir de ellas.

Limitaciones y qué hacer en la práctica

Las cifras deben leerse con cautela. Todos los datos son sintéticos y no hubo etiquetado experto independiente. Las variantes de los textos proceden de familias relacionadas, no fueron escritas por personas distintas. En correspondencia real, con erratas y jerga, el resultado puede ser inferior.

La conclusión práctica para los equipos que enmascaran datos antes de enviarlos a un LLM es esta:

  • Primero, defina una política: qué se considera secreto y dónde están los límites del fragmento.
  • Deje los nombres de clientes, los nombres de empresas y los teléfonos a los diccionarios y las expresiones regulares.
  • Encargue las condiciones escritas en texto libre a un modelo compacto afinado con su propio contexto. Cabe en una sola tarjeta gráfica de consumo.

El autor publicó los datos, las configuraciones y un ejemplo de ejecución sobre un JSONL propio en el repositorio de materiales.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se entrenó y con qué?

Se partió de fastino/gliner2.5-multi-v1: unos 287 millones de parámetros y un codificador mDeBERTa. Junto con el texto, al modelo se le pasan los nombres y descripciones de los tipos buscados, de modo que un mismo esquema de seis tipos de entidades se puede ejecutar tanto antes como después del entrenamiento. El modelo devuelve los fragmentos encontrados, sus tipos y sus puntuaciones de confianza.

¿Qué se sabe sobre Ajuste fino completo, LoRA y umbral de confianza?

El autor comparó el ajuste fino completo con LoRA, DoRA, rsLoRA y QLoRA. En la receta elegida, los adaptadores LoRA se colocan solo en encoder.query y encoder.value. Se entrenan 589 824 parámetros, alrededor del 0,21% del modelo base, y el resto de los pesos permanece congelado. La versión de los pesos y el umbral se eligieron en una partición dev independiente, y el test no participó en la selección de ajustes.

¿Qué se sabe sobre Limitaciones y qué hacer en la práctica?

Las cifras deben leerse con cautela. Todos los datos son sintéticos y no hubo etiquetado experto independiente. Las variantes de los textos proceden de familias relacionadas, no fueron escritas por personas distintas. En correspondencia real, con erratas y jerga, el resultado puede ser inferior. La conclusión práctica para los equipos que enmascaran datos antes de enviarlos a un LLM es esta: Primero, defina una política: qué se considera secreto y dónde están los límites del fragmento.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…