Editores de IA reescrevem o texto em silêncio: como medir a proporção de alterações antes de escolher o modelo

Você entrega um artigo a uma rede neural com o pedido «corrija apenas os erros». Volta um texto fluido em que o autor já não se reconhece. Parece familiar? Isso não é capricho de um único modelo, mas comportamento padrão, e já se tentou medi-lo.

O pedido «só gramática» não protege o sentido

Num preprint de 2026, pesquisadores de Berkeley, Google DeepMind e outras organizações compararam as edições de pessoas e de três modelos de IA em 86 ensaios. As pessoas editavam pouco e em direções diferentes. Os modelos afastavam o texto do original. A proibição direta não ajudou: o sentido mudava mesmo após as observações de um especialista e o pedido para corrigir só a gramática. Num experimento vizinho, entre quem escrevia ativamente com uma rede neural, a proporção de ensaios neutros, sem posição sobre a questão, subiu quase 70%.

Daí a conclusão prática: não se pode escolher um editor pela sensação de que «ficou melhor». A fluidez é justamente um sintoma de reescrita.

Os rankings não ajudam aqui. O Kimi K3 está entre os vinte primeiros do recorte russo da Arena, o DeepSeek V3.2 ocupa o 4.º lugar no llmarena.ru, o Qwen3.5-27B é o primeiro na coluna de textos longos do MERA Reason, e o Grok 4.7 é o 13.º no ranking popular AI-Stat. Mas essas tabelas medem diálogos, cenários de interpretação de papéis e textos longos, não a revisão de um artigo alheio. Além disso, as posições de tabelas diferentes não são comparáveis entre si: participantes, tarefas e datas são distintos.

Como medir quanto o modelo alterou

Primeiro, o prompt. Liste as alterações permitidas pelo nome (ortografia, pontuação, gramática, erros de digitação evidentes), proíba todo o resto e acrescente «em caso de dúvida, não altere». Peça que devolva o texto completo e uma lista de alterações no formato «era → ficou». Se o texto tiver mais mudanças do que a lista, o modelo editou em silêncio.

Depois, a contagem. A diferença é mostrada pelo comando git diff --no-index --word-diff original.txt edited.txt. A proporção de alterações vem de um script curto em Python com difflib: divide-se ambos os textos em palavras e sinais de pontuação e toma-se um menos o ratio do SequenceMatcher. Limiares indicativos: até 5% é correção pontual, a partir de 15% é reescrita. Mas antes execute a mesma métrica sobre a revisão de um editor humano: ela é que deve ser a referência.

Há uma armadilha. Se o modelo reordenou parágrafos, a contagem por palavras verá uma remoção e uma nova inserção, embora não haja texto novo. Para esses casos, Devatine e Abraham propõem uma métrica baseada na compressão LZ77. Uma aproximação grosseira é dada pelo zlib padrão: comprime-se o original junto com a versão editada e vê-se quanto foi acrescentado. A janela do zlib é de 32 KB, por isso corte um artigo longo por seções. Um word_share alto com compression_share baixo provavelmente significa permutação de blocos. Se ambos os valores forem altos, o modelo escreveu de novo. Isto é uma simplificação, não o código dos autores.

Checklist para rodar no seu artigo

• Pegue um artigo de 3–5 mil caracteres e execute cada modelo numa conversa nova com o mesmo prompt.
• Desative ou limite o modo de raciocínio. Num teste de estresse de 27 modelos, os modelos chineses com ele gastaram de 51 000 a 68 000 tokens, enquanto o GPT-6 Astra e o Gemini 4 Argon ficaram entre 6461 e 9841. A diferença você pagará em tempo e dinheiro.
• Calcule word_share e compression_share e depois procure ideogramas chineses com uma expressão regular. Num teste cego, eles foram inseridos pelo Tencent Hy4 Preview e pelo NVIDIA Nemotron 3.5 Super VL, enquanto Qwen, DeepSeek e Kimi não figuram entre eles. Mas uma única palavra estranha por artigo é fácil de passar despercebida a olho nu.
• Confronte o diff com a lista de alterações do modelo: cada divergência significa uma edição silenciosa.
• Leia com os próprios olhos os trechos alterados: o script não vê que o sentido se perdeu.

Em resumo

Os limiares e o código aqui são ponto de partida, o resultado depende do texto e as versões dos modelos mudam rápido: em outubro de 2026, Qwen 3.8 Max e DeepSeek V4.1 já eram citados entre os carros-chefes chineses. Por isso é conveniente montar a execução como um teste de regressão do prompt e repeti-la após cada ajuste. Verifique com antecedência, no site de cada modelo, o cadastro e o pagamento a partir da Rússia.

A edição pode ser confiada ao modelo cuja proporção de alterações fique mais próxima da revisão de um editor humano e que não faça edições silenciosas. A fluidez do resultado não decide nada nessa escolha. E você, que proporção de texto alterado considera aceitável para os seus artigos?