Reescrita de dados supera o DP-SGD no equilíbrio entre privacidade e qualidade

Equipes que treinam modelos com textos médicos, financeiros e outros dados sensíveis costumam escolher entre duas opções ruins: fazer fine-tuning direto e arriscar vazamentos, ou ativar a privacidade diferencial e aceitar a perda de qualidade. Um novo trabalho, publicado no Hugging Face Daily Papers, propõe um terceiro caminho e o testa em um experimento controlado. Os autores compararam intervenções no nível dos dados e no nível do treinamento, usando registros médicos sintéticos. O melhor equilíbrio entre capacidade e privacidade veio da geração de dados sintéticos, em que um modelo reescreve os registros e substitui os detalhes pessoais únicos.

Como o vazamento foi medido: «canários» em prontuários médicos

Para tornar a comparação justa, os pesquisadores montaram um conjunto de registros médicos sintéticos e inseriram nele «canários». São fragmentos únicos, conhecidos de antemão, que não deveriam aparecer em dados normais. Se, depois do treinamento, o modelo os reproduz ou demonstra confiança anormalmente alta neles, isso indica que memorizou exemplos de treino. Essa abordagem produz uma estimativa empírica de privacidade: não uma garantia teórica, mas um risco observável. A qualidade do modelo, por sua vez, é medida separadamente, com métricas de capacidade.

A comparação envolveu três famílias de abordagens:

• fine-tuning direto sobre os registros originais;
• DP-SGD, ou seja, treinamento com descida de gradiente diferencialmente privada;
• treinamento com dados sintéticos gerados a partir dos registros originais: primeiro com paráfrase ingênua, depois com reescrita que leva a privacidade em conta.

Onde a escolha habitual falha

Como esperado, o fine-tuning direto liderou em capacidade e, também como esperado, teve o maior vazamento. Um modelo que viu os dados como são faz o melhor uso deles e também os memoriza melhor.

O DP-SGD segue na direção oposta. Os vazamentos caem de forma notável, mas o custo é alto: a capacidade do modelo cai bastante. Na prática, é uma troca incômoda, sobretudo quando o modelo precisa lidar com terminologia médica e detalhes finos. Por isso, o DP-SGD costuma ficar como referência acadêmica e chega com menos frequência aos produtos.

Os dados sintéticos ficam no meio-termo, e numa posição bastante vantajosa. O papel decisivo é da instrução dada ao modelo reescritor. Se o pedido for apenas parafrasear o registro, parte dos detalhes únicos sobrevive à paráfrase e pode vazar depois. Se a instrução levar a unicidade em conta e substituir justamente os detalhes que identificam um caso específico, a proteção aumenta. Os autores mostram que a reescrita privada melhora a proteção em relação à paráfrase ingênua com diferentes modelos reescritores. O efeito não depende de um modelo específico.

Reescritor mais forte, risco menor, mas a relação não é linear

Outra observação diz respeito ao próprio modelo que reescreve os dados. Quanto mais capaz ele é, menor tende a ser, em média, o risco de vazamento do modelo treinado com a sua saída sintética. Faz sentido: um modelo forte entende melhor quais detalhes são únicos e os substitui com mais cuidado, preservando a estrutura útil do texto.

Mas a relação não é monotônica. A qualidade em dados separados para avaliação (held-out fit) não cresce de forma estrita com a força do reescritor. E o poder computacional extra na etapa de inferência traz ganho instável. Não dá para simplesmente colocar um modelo de raciocínio potente no pipeline e esperar que privacidade e utilidade melhorem juntas. A configuração precisará ser validada com os dados.

O que fazer com dados sensíveis

A conclusão prática para quem prepara datasets corporativos ou médicos é esta:

• O fine-tuning direto sobre registros brutos só se justifica quando o vazamento não é crítico ou quando os dados já foram anonimizados.
• Se for preciso uma garantia formal, o DP-SGD continua sendo uma opção, mas é preciso reservar de antemão um orçamento para a perda de qualidade.
• Na maioria dos casos aplicados, é razoável começar por um pipeline «reescrever — treinar», com instrução explícita para substituir detalhes únicos, e não apenas parafrasear.
• A escolha do modelo reescritor deve se basear em auditoria com «canários», e não em tamanho ou rankings. É preciso verificar tanto o vazamento quanto a qualidade em amostra separada para avaliação.

O estudo em si se limita a registros médicos sintéticos, e a transposição para textos clínicos reais exigirá validação à parte. Mas os autores também oferecem uma estrutura de avaliação reproduzível, na qual será possível comparar modelos e métodos futuros. Para uma área em que a privacidade costuma ser discutida no nível das declarações, é uma ferramenta útil: ela permite medir o vazamento da mesma forma como a qualidade é medida há muito tempo.