En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Un autor de Habr entrenó un Random Forest con 81 artículos y detectó una fuga de datos y el copiado de una LLM

El autor de un artículo sobre Kwork que consiguió 30.000 visitas decidió averiguar qué impulsa el alcance en Habr. Reunió 81 artículos, los procesó con un Random Forest y obtuvo como factor principal la longitud del título, con un 34,5% de influencia. Sin embargo, durante el proceso, una Qwen3 4B local asignó las mismas puntuaciones a todos los textos y la predicción quedó inflada por una fuga de datos.

Procesado por IA desde Habr AI; editado por Hamidun News
Un autor de Habr entrenó un Random Forest con 81 artículos y detectó una fuga de datos y el copiado de una LLM
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Título de 45–50 caracteres, texto de 1.500–1.800 palabras y al menos 4 imágenes
Dato clave #2Un modelo pequeño copia el ejemplo JSON del prompt: hay que validar las respuestas
Dato clave #3Hay que retirar el objeto de prueba del conjunto de entrenamiento y limitar max_depth=4

Algunos artículos de Habr reúnen un par de miles de visitas, mientras que otros son leídos cientos de miles de veces. El autor de un artículo sobre la plataforma de trabajo freelance Kwork que alcanzó 30.000 visitas decidió investigar las causas con Python y aprendizaje automático. El resultado fue un experimento pequeño pero instructivo, en el que los errores resultaron más interesantes que las cifras finales.

Cómo se recopilaron los datos

Para entrenar el modelo hacía falta una muestra contrastada: 80 artículos de otros autores del hub Freelance, la mitad procedente del feed reciente y la otra mitad de la lista de los mejores de todos los tiempos, más el artículo del propio autor. En total, 81 filas. Para cada artículo, el autor registró la longitud del título; el número de palabras, imágenes, enlaces y bloques de código; y las visitas, convirtiendo valores como "30K" en números enteros. También guardó los primeros 3.000 caracteres del texto para que un modelo de lenguaje los evaluara.

Después llegó el etiquetado con una LLM: nivel de clickbait del título, calidad de la introducción, relevancia del tema y legibilidad, en una escala del 1 al 10. Gemma, disponible gratuitamente a través de OpenRouter, devolvió de inmediato un error 429 debido a la sobrecarga del pool. El autor pasó a una Qwen3 4B local, ejecutada en LM Studio sobre un Mac mini M4. El modelo procesó los 81 artículos y todos recibieron exactamente las mismas puntuaciones: 7, 6, 8 y 7. La causa resultó trivial: eran precisamente los números que el autor había incluido en el prompt como ejemplo JSON. El modelo de 4.000 millones de parámetros no analizó los textos, sino que copió la plantilla.

La conclusión es sencilla: después de un etiquetado de este tipo hace falta una comprobación, por ejemplo, del número de valores únicos de cada columna. El autor la añadió y sustituyó las puntuaciones del modelo por características calculadas mediante expresiones regulares: si el título contiene una pregunta, cifras o palabras activadoras como "dinero" o "cliente", y cuántas imágenes hay por cada 1.000 palabras.

Qué mostró el Random Forest

Sobre las visitas transformadas logarítmicamente, el modelo asignó los siguientes pesos. La longitud del título aporta un 34,5% de la influencia; la extensión del texto, un 26,3%; y los enlaces y las imágenes juntos, un 33,7%. Los bloques de código influyen solo un 0,3%, algo lógico en un hub sobre trabajo freelance: allí se leen situaciones laborales, no fragmentos de código.

La comparación entre grupos fue la siguiente. En el 20% superior, cuyo umbral era de 148.000 visitas, el título medio tenía 46,9 caracteres. En los artículos débiles alcanzaba 61,9 y el del autor tenía 71. La extensión de los artículos del grupo superior rondaba las 1.774 palabras, frente a 1.255 en los débiles y 766 en el artículo del autor. Los textos más exitosos incluían una media de 4,2 imágenes y 4,8 enlaces; el del autor tenía una imagen y ningún enlace.

Fuga de datos y una prueba honesta

A continuación, el autor creó un predictor: un clasificador estimaba la probabilidad de alcanzar 25.000 visitas y un regresor predecía su número. Comparó el artículo original con una versión "mejorada" dotada de un título más corto, y el original ganó de forma inesperada. Había dos razones. En primer lugar, su propio artículo, con 30.000 visitas, seguía dentro del conjunto de entrenamiento, y los árboles sin límite de profundidad simplemente habían memorizado sus parámetros. Es una fuga de datos clásica. En segundo lugar, la cifra añadida al título recibía una penalización: en los artículos débiles, las cifras aparecían tres veces más a menudo que en los mejores, 0,3 frente a 0,1, debido a los casos publicitarios del feed reciente.

Tras corregir el problema —se retiró el artículo del conjunto de entrenamiento y se limitó la profundidad de los árboles con max_depth=4—, el resultado pasó a ser lógico. La estructura original obtuvo un 26% de probabilidad de convertirse en un éxito y una previsión de 14.795 visitas. La versión mejorada, con un título de 46 caracteres, 1.800 palabras, 4 imágenes y 5 enlaces, obtuvo un 41% y 34.919 visitas. Las 30.000 visitas reales del original duplicaron la previsión: el modelo solo ve el "envoltorio", no el tema. Para estimar la dispersión, el autor añadió el rango intercuartílico de las predicciones de los 200 árboles.

Qué conclusiones extraer

Conviene recordar las limitaciones: 81 registros de un único hub, sesgo de muestreo al comparar el feed reciente con los mejores artículos de todos los tiempos y ausencia de una prueba con datos reservados. Las cifras son más una referencia que una ley. Sin embargo, dos lecciones son universales. La primera: no hay que incluir en el prompt un ejemplo de salida ya preparado con cifras reales, y siempre deben validarse las respuestas de los modelos pequeños. La segunda: el objeto con el que se prueba el modelo no debe entrar en el entrenamiento y la profundidad de los árboles debe limitarse.

Como pautas prácticas para publicar en un hub similar, se proponen un título de 45–50 caracteres, un texto de 1.500–1.800 palabras, un mínimo de cuatro ilustraciones y 4–5 enlaces. El autor ya ha escrito un nuevo artículo con esos parámetros y promete comparar las visitas reales con el intervalo previsto por el modelo.

Historia

Preguntas frecuentes sobre la noticia

Cómo se recopilaron los datos?

Para entrenar el modelo hacía falta una muestra contrastada: 80 artículos de otros autores del hub Freelance, la mitad procedente del feed reciente y la otra mitad de la lista de los mejores de todos los tiempos, más el artículo del propio autor. En total, 81 filas. Para cada artículo, el autor registró la longitud del título; el número de palabras, imágenes, enlaces y bloques de código; y las visitas, convirtiendo valores como "30K" en números enteros.

¿Qué se sabe sobre Qué mostró el Random Forest?

Sobre las visitas transformadas logarítmicamente, el modelo asignó los siguientes pesos. La longitud del título aporta un 34,5% de la influencia; la extensión del texto, un 26,3%; y los enlaces y las imágenes juntos, un 33,7%. Los bloques de código influyen solo un 0,3%, algo lógico en un hub sobre trabajo freelance: allí se leen situaciones laborales, no fragmentos de código. La comparación entre grupos fue la siguiente.

¿Qué se sabe sobre Fuga de datos y una prueba honesta?

A continuación, el autor creó un predictor: un clasificador estimaba la probabilidad de alcanzar 25.000 visitas y un regresor predecía su número. Comparó el artículo original con una versión "mejorada" dotada de un título más corto, y el original ganó de forma inesperada. Había dos razones. En primer lugar, su propio artículo, con 30.000 visitas, seguía dentro del conjunto de entrenamiento, y los árboles sin límite de profundidad simplemente habían memorizado sus parámetros. Es una fuga de datos clásica.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…