Autor do Habr treinou um Random Forest com 81 artigos e detectou vazamento de dados e cópia por uma LLM

Alguns artigos no Habr acumulam alguns milhares de visualizações, enquanto outros são lidos centenas de milhares de vezes. O autor de um artigo sobre a plataforma de trabalho freelance Kwork, que alcançou 30.000 visualizações, decidiu investigar as causas usando Python e aprendizado de máquina. O resultado foi um experimento pequeno, mas instrutivo, no qual os erros se mostraram mais interessantes do que os números finais.

Como os dados foram coletados

O treinamento exigia uma amostra contrastante: 80 artigos de outros autores do hub Freelance, metade do feed recente e metade da lista dos melhores de todos os tempos, além do artigo do próprio autor. Ao todo, eram 81 linhas. Para cada artigo, o autor registrou o comprimento do título; o número de palavras, imagens, links e blocos de código; e as visualizações, convertendo valores como "30K" em números inteiros. Ele também salvou os primeiros 3.000 caracteres de cada texto para avaliação por um modelo de linguagem.

Em seguida veio a rotulagem por LLM: nível de caça-cliques do título, qualidade da introdução, relevância do tema e legibilidade, em uma escala de 1 a 10. A Gemma gratuita, acessada pelo OpenRouter, retornou imediatamente um erro 429 devido à sobrecarga do pool. O autor passou para uma Qwen3 4B local, executada no LM Studio em um Mac mini M4. O modelo processou todos os 81 artigos, e todos receberam exatamente as mesmas notas: 7, 6, 8 e 7. A causa era trivial: esses eram justamente os números que o autor havia colocado no prompt como exemplo JSON. Em vez de analisar os textos, o modelo de 4 bilhões de parâmetros simplesmente copiou o modelo de resposta.

A conclusão é simples: uma rotulagem desse tipo precisa ser validada, por exemplo, verificando o número de valores únicos em cada coluna. O autor acrescentou essa verificação e substituiu as notas do modelo por atributos calculados com expressões regulares: se o título contém uma pergunta, números ou palavras-gatilho como "dinheiro" ou "cliente", além da quantidade de imagens por 1.000 palavras.

O que o Random Forest mostrou

Com as visualizações transformadas em escala logarítmica, o modelo atribuiu os seguintes pesos. O comprimento do título responde por 34,5% da influência; o tamanho do texto, por 26,3%; e links e imagens juntos, por 33,7%. Os blocos de código contribuem com apenas 0,3%, algo coerente para um hub sobre trabalho freelance: os leitores procuram situações profissionais, não trechos de código.

A comparação entre os grupos ficou assim. No grupo dos 20% melhores, cujo limite era de 148.000 visualizações, o título médio tinha 46,9 caracteres. Nos artigos de desempenho fraco, a média era de 61,9, enquanto o título do autor tinha 71. Os artigos do grupo superior tinham cerca de 1.774 palavras, contra 1.255 nos artigos fracos e 766 no texto do autor. Os melhores textos apresentavam, em média, 4,2 imagens e 4,8 links; o artigo do autor tinha uma imagem e nenhum link.

Vazamento de dados e um teste honesto

Depois, o autor criou um preditor: um classificador estimava a chance de alcançar 25.000 visualizações, enquanto um regressor previa o número de visualizações. Ele comparou o artigo original com uma versão "aprimorada", de título mais curto, e o original venceu de forma inesperada. Havia dois motivos. Primeiro, o artigo do próprio autor, com 30.000 visualizações, continuava no conjunto de treinamento, e as árvores sem limite de profundidade simplesmente memorizaram seus parâmetros. Trata-se de um vazamento de dados clássico. Segundo, o número acrescentado ao título era penalizado: nos artigos fracos, números apareciam três vezes mais do que nos melhores, 0,3 contra 0,1, por causa dos estudos de caso publicitários presentes no feed recente.

Após a correção —o artigo foi removido do conjunto de treinamento e a profundidade das árvores foi limitada com max_depth=4—, o resultado passou a fazer sentido. A estrutura original recebeu 26% de probabilidade de se tornar um sucesso e uma previsão de 14.795 visualizações. A versão aprimorada, com um título de 46 caracteres, 1.800 palavras, 4 imagens e 5 links, recebeu 41% e 34.919 visualizações. As 30.000 visualizações reais do original foram duas vezes maiores que a previsão: o modelo enxerga apenas a "embalagem", não o tema. Para estimar a dispersão, o autor acrescentou o intervalo interquartil das previsões de todas as 200 árvores.

O que aprender com isso

Vale lembrar as limitações: 81 registros de um único hub, viés de amostragem ao comparar o feed recente com os melhores artigos de todos os tempos e ausência de avaliação com dados separados. Os números são mais uma referência do que uma lei. Ainda assim, duas lições são universais. A primeira: não coloque no prompt um exemplo pronto de saída contendo números reais e sempre valide as respostas de modelos pequenos. A segunda: o objeto usado para testar o modelo não pode fazer parte do treinamento, e a profundidade das árvores deve ser limitada.

As orientações práticas para publicar em um hub semelhante são: título com 45–50 caracteres, texto com 1.500–1.800 palavras, no mínimo quatro ilustrações e 4–5 links. O autor já escreveu um novo artigo seguindo esses parâmetros e promete comparar as visualizações reais com o intervalo previsto pelo modelo.