Ajuste fino de modelo NER eleva de 39,5% para 91,8% a taxa de segredos comerciais totalmente ocultados
No CRM, um desconto de 12% pode ser segredo ou condição pública, e só o primeiro caso deve ser mascarado. O autor fez o ajuste fino do GLiNER (287 milhões de parâmetros), um modelo NER que encontra um trecho de texto e define seu tipo. A taxa de segredos totalmente ocultados subiu de 39,53% para 91,84%, e as máscaras falsas em menções públicas caíram de 368 para 8 em 575. Para condições que dependem de contexto, vale ajustar um modelo compacto com os próprios dados.
Processado por IA de Habr AI; editado por Hamidun News
Imagine um CRM em que os gerentes escrevem anotações sobre negócios há anos. Antes de enviá-las a um terceirizado, a uma área de análise ou ao prompt de um modelo grande, as condições sigilosas precisam ser cobertas por uma máscara. O problema é que o mesmo valor pode ser segredo ou informação aberta. Na anotação «acordamos com o cliente um desconto de 12%, condições não públicas», o número 12% deve ser escondido. Já na frase «o desconto de 12% vale para todos os compradores», ele não pode ser tocado. Expressões regulares não ajudam aqui: quem decide é o contexto, não o formato.
No Habr, o autor fez o ajuste fino do GLiNER para essa tarefa. O modelo pertence à classe NER (reconhecimento de entidades nomeadas: encontrar o trecho de texto desejado e definir seu tipo). Em um teste sintético curto, a taxa de segredos ocultados por inteiro subiu de 39,53% para 91,84%. As menções públicas cobertas por engano caíram de 368 para 8 em 575. A métrica Exact F1, em que tipo e limites do trecho precisam coincidir exatamente com o gabarito, subiu de 22,51% para 94,13%. Para quem limpa dados antes de enviá-los a um LLM, o experimento mostra o ganho que o ajuste fino ao próprio domínio pode trazer.
O que foi treinado e com quais dados
O ponto de partida foi o fastino/gliner2.5-multi-v1: cerca de 287 milhões de parâmetros e encoder mDeBERTa. Junto com o texto, passam-se ao modelo os nomes e as descrições dos tipos procurados. Por isso, o mesmo esquema de seis tipos de entidade pôde ser executado antes e depois do treino. O modelo devolve os trechos encontrados, seus tipos e as pontuações de confiança. O JSON e o texto final com máscaras são gerados por código comum, que substitui os trechos da direita para a esquerda, para que o tamanho de uma máscara já inserida não desloque as coordenadas dos demais.
O autor definiu os limites do segredo com antecedência. Se o acordo de bônus é sigiloso, deve-se mascarar «3% do faturamento anual na compra de 500 unidades ou mais», e não apenas «3%». Em um cronograma de pagamento, a máscara cobre tanto as parcelas quanto os prazos.
Todos os textos são fictícios. O corpus de 6 500 registros foi dividido em 5 000 para treino, 500 para escolher a versão dos pesos e o limiar de confiança e 1 000 para a verificação final. Os textos foram montados por um gerador a partir de 336 componentes. Um quarto dos documentos não tem segredo algum, e há pares contrastantes em que o mesmo valor ora é não público, ora é divulgado. O treino rodou em uma única RTX 3090 de 24 GB: três épocas, com batch efetivo de 16.
Ajuste fino completo, LoRA e limiar de confiança
O autor comparou o ajuste fino completo com LoRA, DoRA, rsLoRA e QLoRA. Na receita escolhida, os adaptadores LoRA ficam apenas em encoder.query e encoder.value. São treinados 589 824 parâmetros, cerca de 0,21% do modelo base, e os demais pesos permanecem congelados.
A versão dos pesos e o limiar foram escolhidos em uma parte dev separada, e o teste não participou da seleção das configurações. No ajuste fino completo, venceu a segunda época com limiar de confiança de 95%; no LoRA, a terceira época com limiar de 90%; no rsLoRA, a primeira com limiar de 90%. O critério foi um micro-F1 estrito. Em caso de empate, preferiu-se a variante com menos máscaras falsas em valores públicos.
Em verificações adicionais, o autor substituiu a marcação original por rótulos do DeepSeek e treinou um GLiNER separado. Também incluiu Qwen e Gemma com cabeças NER e testou todos os reconhecedores em documentos longos. Na parte acessível do material não há resultados dessas verificações, então não é possível comparar as abordagens com base nelas.
Limitações e o que fazer na prática
Os números devem ser lidos com cautela. Todos os dados são sintéticos, e não houve marcação independente por especialistas. As variantes de texto foram montadas a partir de famílias relacionadas, e não escritas por pessoas diferentes. Em correspondência real, com erros de digitação e gírias, o resultado pode ser inferior.
A conclusão prática para equipes que mascaram dados antes de enviá-los a um LLM é esta:
- Primeiro, defina a política: o que conta como segredo e onde passam os limites do trecho.
- Deixe nomes de clientes, nomes de empresas e telefones para dicionários e expressões regulares.
- Entregue as condições escritas em texto livre a um modelo compacto, ajustado ao seu próprio contexto. Ele cabe em uma única placa de vídeo de consumo.
O autor publicou os dados, as configurações e um exemplo de execução com JSONL próprio no repositório de materiais.
- 18 de nov. de 2026Após banimento, autor roda equipe de agentes no Kimi, Codex e OpenCode: execução a partir de US$ 0,30
- 18 de nov. de 2026Qwen em dois DGX Spark fica 34–59% mais rápido em tokens por segundo e supera o GLM
- 18 de nov. de 2026Meituan abre os pesos de um modelo agêntico de 1,6 trilhão de parâmetros treinado sem Nvidia
- 12 de nov. de 2026Funcionário da Railway lançou um agente de IA baseado no DeepSeek, e ele foi mexer na infraestrutura de um concorrente
Perguntas frequentes sobre a notícia
O que foi treinado e com quais dados?
O ponto de partida foi o fastino/gliner2.5-multi-v1: cerca de 287 milhões de parâmetros e encoder mDeBERTa. Junto com o texto, passam-se ao modelo os nomes e as descrições dos tipos procurados. Por isso, o mesmo esquema de seis tipos de entidade pôde ser executado antes e depois do treino. O modelo devolve os trechos encontrados, seus tipos e as pontuações de confiança.
O que se sabe sobre Ajuste fino completo, LoRA e limiar de confiança?
O autor comparou o ajuste fino completo com LoRA, DoRA, rsLoRA e QLoRA. Na receita escolhida, os adaptadores LoRA ficam apenas em encoder.query e encoder.value. São treinados 589 824 parâmetros, cerca de 0,21% do modelo base, e os demais pesos permanecem congelados. A versão dos pesos e o limiar foram escolhidos em uma parte dev separada, e o teste não participou da seleção das configurações.
O que se sabe sobre Limitações e o que fazer na prática?
Os números devem ser lidos com cautela. Todos os dados são sintéticos, e não houve marcação independente por especialistas. As variantes de texto foram montadas a partir de famílias relacionadas, e não escritas por pessoas diferentes. Em correspondência real, com erros de digitação e gírias, o resultado pode ser inferior. A conclusão prática para equipes que mascaram dados antes de enviá-los a um LLM é esta: Primeiro, defina a política: o que conta como segredo e onde passam os limites do trecho.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.