Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Ajuste fino de modelo NER eleva de 39,5% para 91,8% a taxa de segredos comerciais totalmente ocultados

No CRM, um desconto de 12% pode ser segredo ou condição pública, e só o primeiro caso deve ser mascarado. O autor fez o ajuste fino do GLiNER (287 milhões de parâmetros), um modelo NER que encontra um trecho de texto e define seu tipo. A taxa de segredos totalmente ocultados subiu de 39,53% para 91,84%, e as máscaras falsas em menções públicas caíram de 368 para 8 em 575. Para condições que dependem de contexto, vale ajustar um modelo compacto com os próprios dados.

Processado por IA de Habr AI; editado por Hamidun News
Ajuste fino de modelo NER eleva de 39,5% para 91,8% a taxa de segredos comerciais totalmente ocultados
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1O Exact F1, que exige coincidência de tipo e de limites, subiu de 22,51% para 94,13%
O corpus é sintético5 000 textos para treino e 1 000 para teste
Dado-chave #3O LoRA treina 589 824 parâmetros, cerca de 0,21% do modelo

Imagine um CRM em que os gerentes escrevem anotações sobre negócios há anos. Antes de enviá-las a um terceirizado, a uma área de análise ou ao prompt de um modelo grande, as condições sigilosas precisam ser cobertas por uma máscara. O problema é que o mesmo valor pode ser segredo ou informação aberta. Na anotação «acordamos com o cliente um desconto de 12%, condições não públicas», o número 12% deve ser escondido. Já na frase «o desconto de 12% vale para todos os compradores», ele não pode ser tocado. Expressões regulares não ajudam aqui: quem decide é o contexto, não o formato.

No Habr, o autor fez o ajuste fino do GLiNER para essa tarefa. O modelo pertence à classe NER (reconhecimento de entidades nomeadas: encontrar o trecho de texto desejado e definir seu tipo). Em um teste sintético curto, a taxa de segredos ocultados por inteiro subiu de 39,53% para 91,84%. As menções públicas cobertas por engano caíram de 368 para 8 em 575. A métrica Exact F1, em que tipo e limites do trecho precisam coincidir exatamente com o gabarito, subiu de 22,51% para 94,13%. Para quem limpa dados antes de enviá-los a um LLM, o experimento mostra o ganho que o ajuste fino ao próprio domínio pode trazer.

O que foi treinado e com quais dados

O ponto de partida foi o fastino/gliner2.5-multi-v1: cerca de 287 milhões de parâmetros e encoder mDeBERTa. Junto com o texto, passam-se ao modelo os nomes e as descrições dos tipos procurados. Por isso, o mesmo esquema de seis tipos de entidade pôde ser executado antes e depois do treino. O modelo devolve os trechos encontrados, seus tipos e as pontuações de confiança. O JSON e o texto final com máscaras são gerados por código comum, que substitui os trechos da direita para a esquerda, para que o tamanho de uma máscara já inserida não desloque as coordenadas dos demais.

O autor definiu os limites do segredo com antecedência. Se o acordo de bônus é sigiloso, deve-se mascarar «3% do faturamento anual na compra de 500 unidades ou mais», e não apenas «3%». Em um cronograma de pagamento, a máscara cobre tanto as parcelas quanto os prazos.

Todos os textos são fictícios. O corpus de 6 500 registros foi dividido em 5 000 para treino, 500 para escolher a versão dos pesos e o limiar de confiança e 1 000 para a verificação final. Os textos foram montados por um gerador a partir de 336 componentes. Um quarto dos documentos não tem segredo algum, e há pares contrastantes em que o mesmo valor ora é não público, ora é divulgado. O treino rodou em uma única RTX 3090 de 24 GB: três épocas, com batch efetivo de 16.

Ajuste fino completo, LoRA e limiar de confiança

O autor comparou o ajuste fino completo com LoRA, DoRA, rsLoRA e QLoRA. Na receita escolhida, os adaptadores LoRA ficam apenas em encoder.query e encoder.value. São treinados 589 824 parâmetros, cerca de 0,21% do modelo base, e os demais pesos permanecem congelados.

A versão dos pesos e o limiar foram escolhidos em uma parte dev separada, e o teste não participou da seleção das configurações. No ajuste fino completo, venceu a segunda época com limiar de confiança de 95%; no LoRA, a terceira época com limiar de 90%; no rsLoRA, a primeira com limiar de 90%. O critério foi um micro-F1 estrito. Em caso de empate, preferiu-se a variante com menos máscaras falsas em valores públicos.

Em verificações adicionais, o autor substituiu a marcação original por rótulos do DeepSeek e treinou um GLiNER separado. Também incluiu Qwen e Gemma com cabeças NER e testou todos os reconhecedores em documentos longos. Na parte acessível do material não há resultados dessas verificações, então não é possível comparar as abordagens com base nelas.

Limitações e o que fazer na prática

Os números devem ser lidos com cautela. Todos os dados são sintéticos, e não houve marcação independente por especialistas. As variantes de texto foram montadas a partir de famílias relacionadas, e não escritas por pessoas diferentes. Em correspondência real, com erros de digitação e gírias, o resultado pode ser inferior.

A conclusão prática para equipes que mascaram dados antes de enviá-los a um LLM é esta:

  • Primeiro, defina a política: o que conta como segredo e onde passam os limites do trecho.
  • Deixe nomes de clientes, nomes de empresas e telefones para dicionários e expressões regulares.
  • Entregue as condições escritas em texto livre a um modelo compacto, ajustado ao seu próprio contexto. Ele cabe em uma única placa de vídeo de consumo.

O autor publicou os dados, as configurações e um exemplo de execução com JSONL próprio no repositório de materiais.

História

Perguntas frequentes sobre a notícia

O que foi treinado e com quais dados?

O ponto de partida foi o fastino/gliner2.5-multi-v1: cerca de 287 milhões de parâmetros e encoder mDeBERTa. Junto com o texto, passam-se ao modelo os nomes e as descrições dos tipos procurados. Por isso, o mesmo esquema de seis tipos de entidade pôde ser executado antes e depois do treino. O modelo devolve os trechos encontrados, seus tipos e as pontuações de confiança.

O que se sabe sobre Ajuste fino completo, LoRA e limiar de confiança?

O autor comparou o ajuste fino completo com LoRA, DoRA, rsLoRA e QLoRA. Na receita escolhida, os adaptadores LoRA ficam apenas em encoder.query e encoder.value. São treinados 589 824 parâmetros, cerca de 0,21% do modelo base, e os demais pesos permanecem congelados. A versão dos pesos e o limiar foram escolhidos em uma parte dev separada, e o teste não participou da seleção das configurações.

O que se sabe sobre Limitações e o que fazer na prática?

Os números devem ser lidos com cautela. Todos os dados são sintéticos, e não houve marcação independente por especialistas. As variantes de texto foram montadas a partir de famílias relacionadas, e não escritas por pessoas diferentes. Em correspondência real, com erros de digitação e gírias, o resultado pode ser inferior. A conclusão prática para equipes que mascaram dados antes de enviá-los a um LLM é esta: Primeiro, defina a política: o que conta como segredo e onde passam os limites do trecho.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…