Autor do Habr testa quantas edições são necessárias para apagar a marca d'água de um LLM

Um autor do Habr decidiu medir algo que ainda é debatido só na teoria: quanto é preciso alterar um texto para que a marca d'água de um modelo de linguagem deixe de ser legível. O ponto de partida foi a afirmação de que o Claude já marca a saída e de que a OpenAI está implantando um mecanismo análogo. A introdução traz quatro perguntas, mas não traz resultados: as medições em si ficam para a parte principal. As perguntas, porém, são precisas, e são elas que definem o que esperar das marcas na prática.

Como funciona a marca

A marca d'água de texto não fica escondida nos caracteres. Em geral, trata-se de um viés estatístico na escolha de tokens: uma chave secreta determina a quais palavras o modelo dá um peso um pouco maior. O leitor não percebe diferença. O detector, que tem a chave, calcula a proporção de tokens "preferidos" e a compara com a esperada para um texto aleatório. Pesquisadores da Universidade de Maryland descreveram em 2023 o esquema com listas "verdes" e "vermelhas", e o Google lançou depois sua própria variante, o SynthID-Text.

A introdução não esclarece qual esquema exatamente é usado no Claude e na OpenAI. O autor remete a duas análises no Habr que explicam a mecânica em detalhes, inclusive as formas de contorná-la.

Disso decorre a propriedade principal: o sinal se acumula com o comprimento. Uma frase isolada quase não prova nada; um texto longo prova muito. Qualquer troca de palavras dilui esse sinal.

As quatro perguntas do experimento

• Profundidade da reescrita. Quanto é preciso reescrever um "textão de lixo gerado por IA" para que o detector deixe de marcá-lo com confiança. A medida é a proporção de tokens alterados.
• Duas marcas ao mesmo tempo. Se a reescrita é feita por outro modelo, também com marca d'água, o texto fica com dois rastros? E com que confiança cada um deles é encontrado?
• Texto humano com edição de IA. Correção de erros e de pontuação, reescrita de um par de parágrafos: onde passa a fronteira a partir da qual o texto é considerado gerado.
• Código. Onde a marca pode, afinal, ficar: em comentários, em parênteses extras, em nomes de variáveis.

A última pergunta é a mais interessante do ponto de vista técnico. Uma marca estatística precisa de liberdade de escolha: o modelo tem de ter várias continuações quase equivalentes. Em texto corrido, há muitos pontos assim. No código, a sintaxe e as APIs fixam rigidamente a maior parte dos tokens, e sobra menos espaço para o viés. Esse é um princípio geral desses esquemas, não um resultado do autor. Se as medições o confirmam para modelos comerciais, só a parte principal vai mostrar.

O que ainda não se sabe

Segundo o texto, os detectores para Claude e OpenAI não estão disponíveis ao público. O autor parte do princípio de que, um dia, eles vão aparecer, e aí os textos já escritos poderão ser verificados retroativamente. Esse é o principal risco que ele descreve: um relatório para o cliente, um trabalho científico ou uma prosa pela qual você responde pessoalmente.

A detecção tem também um outro lado. Qualquer limiar de confiança produz falsos positivos, sobretudo em textos curtos e em textos com leve edição de um modelo. Por isso, os resultados das medições da terceira pergunta importam não só para quem quer remover a marca, mas também para quem pode ser acusado sem fundamento.

Conclusões práticas

Enquanto não há detectores públicos nem medições publicadas, o razoável é agir com calma e com antecedência.

• Guarde rascunhos e o histórico de edições. É a melhor prova de autoria, melhor que qualquer detector.
• Se você trabalha com um cliente ou uma revista, descubra antes a política deles sobre ajuda de IA e registre o acordo por escrito.
• Não trate o disparo de um detector como sentença: a marca dá uma probabilidade, não uma prova.
• Dados confidenciais não devem ser enviados a modelos na nuvem para "dar um polimento" no texto, independentemente das marcas d'água.
• Espere a parte principal do experimento e confira as conclusões com a metodologia: tamanho da amostra, idioma dos textos, versões dos modelos.

O experimento no Habr pode dar as primeiras referências sobre os limiares de edição. Por enquanto, são perguntas, não respostas.