Tradução e edição com IA não enganaram os detectores: o Doumate elevou a parcela de IA em 5–25% depois delas

Se você perguntar a um estudante como «passar no antiplágio», ele citará dois métodos: pedir a um chatbot que edite o texto com um prompt especial ou passá-lo por uma tradução para o inglês e de volta. A autora deste experimento, publicado no Habr, decidiu verificar se isso realmente funciona. E, de quebra, entender por que os detectores às vezes acusam trabalhos perfeitamente humanos.

Como o experimento foi conduzido

Foram usados cinco textos de 11 a 12 mil caracteres. O primeiro é um pedido de financiamento (grant) da autora, de 2021, sobre estações de tratamento de esgoto. O segundo é o seu «gêmeo», gerado pelo Claude a partir do mesmo briefing técnico. Os outros três são trabalhos de curso de 2024 e 2025 e um trabalho de conclusão de curso (VKR) de 2026 de uma mesma estudante de letras. Todos os trabalhos foram defendidos com nota «5» (a nota máxima).

Duas técnicas foram aplicadas aos textos. A primeira foi a edição com IA pelo ChatGPT por meio de um prompt: alternar o comprimento das frases, mudar a ordem das palavras, evitar transições suaves e não mexer no sentido. A segunda foram traduções do Claude RU→EN, EN→RU e a dupla RU→EN→RU. A verificação foi feita com o Doumate e o GPTZero (modelo 4.1m). O Antiplagiat foi usado apenas de forma seletiva: um teste completo ficava caro demais.

O que os detectores mostraram

O GPTZero e o Antiplagiat avaliaram o texto humano como humano, 0% IA, após qualquer processamento. Já o Doumate, após a dupla tradução, apontou 51,1% de IA. A autora diz que encontrou a causa e a eliminou, e depois disso a pontuação caiu quase a zero. Ela promete dar detalhes em um artigo à parte, então, por ora, é preciso aceitar isso na confiança.

Com o texto de máquina, a situação é mais enfadonha para quem quer trapacear. O Doumate, após qualquer retoque, reduziu a parcela de IA em menos de 3%. O GPTZero se moveu mais com a edição por prompt: a probabilidade de IA caiu 38%, quase pela metade. Mas o veredicto de «geração» permaneceu.

Uma observação à parte diz respeito ao idioma. O Doumate, voltado ao russo, detecta com segurança a geração em russo, mas avaliou o texto gerado em inglês como 0% IA. O GPTZero, ao contrário, dá 100% em inglês e porcentagens menos precisas em russo, embora o veredicto esteja correto. Cada detector funciona melhor no idioma «nativo».

Nos trabalhos de curso reais, a parcela de IA segundo o GPTZero subiu de 0% para 56% em três anos, e segundo o Doumate de 12,5% para 70%. O orientador duvidou dos 70% para o trabalho de conclusão. A autora afirma ter conseguido reduzir bastante essa pontuação sem alterar o conteúdo. A «revisão» nesses trabalhos mais frequentemente elevou a parcela de IA no Doumate em 5–25%, e apenas em um caso a reduziu em 3%.

Limitações e conclusão prática

Este não é um estudo com amostra representativa. São cinco textos, uma autora, as versões dos detectores não foram totalmente reveladas (a do Doumate não é informada) e as tabelas com números exatos não aparecem no resumo. O mecanismo dos falsos positivos do Doumate não é explicado e foi adiado para o futuro. Portanto, as conclusões devem ser consideradas uma hipótese, e não um fato comprovado.

Para quem desenvolve ou implanta esses produtos, três coisas são úteis. Primeiro, os detectores reagem de forma diferente às alterações: o Doumate, após a tradução, tomou um texto humano por maquinal, enquanto o GPTZero não se deixou enganar. Segundo, o idioma do texto afeta a confiabilidade, e um detector para russo não pode ser aplicado a trabalhos em inglês. Terceiro, um único ponto percentual de IA não é motivo para sanções. Se a pontuação oscila com um processamento leve, ela precisa ser reverificada com uma segunda ferramenta e uma conversa com o autor.

Para os estudantes, a conclusão da autora é direta: a máquina não torna um texto humano. Para universidades e equipes de edtech, é menos óbvia: em vez de um limite em porcentagem, é melhor observar a parcela de texto «humano» e usar vários detectores. Enquanto as causas dos falsos positivos não forem publicadas, a verificação pelo Doumate deve ser vista como uma referência, e não como uma sentença.