Detector caseiro de AI slop pega com código 5 dos 12 sinais de texto de IA

Um autor do Habr organizou 12 sinais de AI slop, isto é, texto que uma rede neural gerou e que ninguém revisou, de acordo com as verificações do próprio detector. O código pega cinco sinais, sendo que dois deles apenas em parte. Os outros sete dependem exclusivamente de regras para o editor. No teste, o script deixou passar duas frases de abertura típicas: «Neste artigo, vamos abordar» e «A conclusão é simples» com dois-pontos.

Por que um percentual geral não resolve nada

Os detectores online respondem com um número e não explicam o que há de errado no texto. O próprio percentual não é confiável. No trabalho de Liang e coautores, sete detectores classificaram como escritas por máquina, em média, 61% das redações do TOEFL feitas por pessoas cuja língua materna não é o inglês. Esse tipo de detector erra de forma sistemática justamente quando o autor escreve com cuidado e cautela, algo que ele interpreta como sinal de "maquinice".

A OpenAI encerrou seu classificador de texto de IA no verão de 2023 por causa da baixa precisão. Se a desenvolvedora dos próprios modelos não conseguiu criar uma ferramenta geral confiável, é difícil esperar isso de um serviço qualquer que devolve um percentual.

Uma verificação estreita em vez de um veredito

O autor escolhe outra construção. O script aponta a frase específica e a regra que a acionou, e cada alerta pode ser contestado separadamente. O editor não vê "texto 73% escrito por IA", e sim "esta frase de abertura e esta regra".

Os editores da Wikipédia seguem a mesma lógica. Eles mantêm uma lista aberta de sinais de texto de IA e afirmam explicitamente que um sinal indica um possível problema e, por si só, não prova nada. O script parte da mesma premissa: ele procura vestígios de texto sem revisão e não determina a autoria. A nota geral desse detector já foi analisada separadamente no Habr.

O resumo em números

• Total de sinais de AI slop na análise: 12.
• Pegos pelo código: 5, sendo 2 em parte.
• Ficam apenas com o editor: 7.
• Passaram no teste: «Neste artigo, vamos abordar» e «A conclusão é simples:».
• Falsos positivos segundo Liang e coautores: em média 61% das redações do TOEFL feitas por pessoas cuja língua materna não é o inglês.
• Classificador da OpenAI encerrado no verão de 2023.

Onde fica a fronteira entre o código e o editor

O anúncio não lista os 12 sinais; a análise completa está oculta sob o cut do Habr. Mesmo assim, as duas frases que escaparam já mostram o quadro geral. Até as aberturas de modelo, que parecem alvo perfeito para uma expressão regular, escapam quando a forma muda: outro verbo, outro sinal de pontuação, outra ordem das palavras. Esta é a minha leitura, não uma conclusão do autor, mas ela faz sentido. O código é confiável onde o sinal está na superfície e se repete literalmente. Os sinais que exigem compreensão do sentido continuam com o humano: a generalização vazia, a falta de detalhes concretos, o parágrafo do qual se pode cortar metade das palavras sem perda.

Como aplicar isso na prática

Se você está montando uma verificação para uma redação ou para o seu próprio blog, a análise oferece algumas regras úteis.

• Divida os sinais em duas listas: o que o script verifica e o que a pessoa verifica. Não tente enfiar tudo no código.
• Cada alerta deve mostrar a frase e a regra. Assim, o editor pode aceitá-lo ou rejeitá-lo em segundos.
• Amplie o dicionário a partir das falhas. As duas frases que passaram batido são tarefa pronta para a próxima iteração.
• Não use o resultado como prova de autoria. Tenha cuidado especial com textos de autores cuja língua materna não é a do texto: os erros dos detectores atingem esse grupo com mais força.
• Mantenha a revisão como etapa obrigatória. O script reduz o trabalho manual, mas não o substitui.

A conclusão é simples: uma verificação que explica a si mesma é mais útil do que um veredito em que é preciso acreditar apenas na palavra.