Un no programador recreo el HackerTube de Karpathy para Habr: 388 videos en una tarde

Las recomendaciones de YouTube aciertan muy bien que contenido abrira el usuario a continuacion, pero encuentran mal esa ponencia en la que seguira pensando un ano despues. El 31 de octubre, Andrej Karpathy publico HackerTube: 6.454 videos que los usuarios de Hacker News se recomendaron una y otra vez entre 2007 y 2026. Segun el, Claude escribio el sitio en Claude Code en unas dos horas. El autor del articulo de Habr repitio el experimento para la comunidad rusofona y llamo al resultado "HabTube".

Como funciona

La fuente de datos es el archivo abierto de Habr: 302.049 articulos y mas de 10 millones de comentarios hasta febrero de 2023. Un script extrajo 121.379 enlaces a videos. Despues se aplico el mismo umbral que uso Karpathy: un video debia haber sido recomendado por al menos tres personas distintas en tres meses diferentes. Asi, un pico puntual en un hilo popular no pasa el filtro, pero algo recomendado durante anos si. Se obtuvieron 568 candidatos.

El paso clave fue hacer que el modelo leyera los comentarios. Claude leyo cada comentario junto con el titular del articulo y le asigno una etiqueta: lo recomienda con entusiasmo, lo recomienda, lo cita como fuente, hace una broma o lo critica. Sin este paso, un rickroll compartido por 22 personas en 18 meses distintos habria encabezado la lista. Tras filtrar 88 videos eliminados de YouTube, 84 bromas y entradas basura, y 8 entradas sin datos, quedaron 388 videos. Para cada uno, el modelo escribio una descripcion en ruso e indico el tipo, el nivel y una nota sobre su obsolescencia.

El sitio es un conjunto de archivos estaticos: un index.json y un archivo de comentarios independiente para cada video. Los "me gusta" y el historial se guardan en localStorage; no hay servidor con base de datos y todo esta alojado en Cloudflare Workers.

Seis escollos

La lista de escollos es mas util que el propio sitio, porque son problemas tipicos de cualquier proyecto con grandes volumenes de datos.

• El conjunto de datos original de Ilya Gusev exige aceptar unas condiciones y devuelve un error 401. El autor encontro una copia abierta y verifico el esquema y el numero de filas mediante datasets-server, en vez de fiarse del nombre.
• El archivo pesa 6,2 GB y el portatil solo tenia 4 GB libres. La solucion fue alquilar un servidor y leer unicamente las columnas necesarias de Parquet en lotes de 300 articulos. Un archivo con 10.000 articulos se procesa en unos 3 segundos.
• Los enlaces de YouTube aparecen en alrededor de una decena de formatos: youtu.be, embed, shorts, live, nocookie y & dentro de HTML. Bastaron una sola expresion regular y la comprobacion de que el ID tuviera exactamente 11 caracteres.
• YouTube bloquea las direcciones IP de servidores por considerarlas bots. Los metadatos de 564 videos tuvieron que recopilarse una vez desde una direccion IP residencial.
• Debido al parametro hl=ru, las ponencias en ingles activaban automaticamente los subtitulos en ruso. El problema se resolvio con cc_load_policy=0 y cargando el modulo captions.

En que mejora y empeora respecto al original

"HabTube" tiene algo que HackerTube no ofrece: omision de segmentos patrocinados mediante SponsorBlock—a 4 de noviembre habia anotaciones para 41 videos, con 59 segmentos y 42 minutos—y descripciones en ruso incluso para ponencias en ingles. La coleccion de Karpathy tiene 17 veces mas videos y sus datos estan actualizados hasta 2026. Por ahora, HabTube solo tiene datos hasta febrero de 2023; todavia se estan descargando los comentarios de 2023–2026.

Limitaciones y conclusion

Las descripciones fueron escritas por un modelo, por lo que puede equivocarse en los detalles; debajo de cada video se adjuntan los comentarios originales para poder verificarlos. En Rusia se necesita una VPN para reproducir los videos. Los videos de RuTube y VK casi nunca superaron el umbral.

La conclusion practica para equipos de producto y fundadores es que la receta—un corpus abierto, un umbral basado en personas independientes, un LLM como clasificador de tono y una salida estatica—puede reproducirse en una tarde y sin equipo. Lo mas valioso no es el codigo, sino el filtro: sin etiquetar las bromas y los rickrolls, el resultado habria sido un feed de memes. Si su comunidad dispone de un archivo de debates, puede crear de la misma forma una seleccion parecida. Solo debe comprobar de antemano la disponibilidad de los datos y recordar que muchas plataformas limitan las IP de servidores.