Um nao programador recriou o HackerTube de Karpathy para o Habr: 388 videos em uma noite

As recomendacoes do YouTube sao otimas para prever em que voce vai clicar a seguir, mas ruins para encontrar aquela palestra em que voce ainda estara pensando um ano depois. Em 31 de outubro, Andrej Karpathy publicou o HackerTube: 6.454 videos que participantes do Hacker News recomendaram repetidamente uns aos outros entre 2007 e 2026. Segundo ele, Claude escreveu o site no Claude Code em cerca de duas horas. O autor do artigo no Habr repetiu o experimento para a comunidade de lingua russa e chamou o resultado de "HabTube".

Como funciona

A fonte dos dados e o arquivo aberto do Habr: 302.049 artigos e mais de 10 milhoes de comentarios ate fevereiro de 2023. Um script extraiu deles 121.379 links para videos. Em seguida, foi aplicado o mesmo limite usado por Karpathy: um video precisava ter sido recomendado por pelo menos tres pessoas diferentes em tres meses distintos. Assim, um pico isolado em uma discussao popular nao passa, mas algo recomendado ao longo dos anos passa. O processo encontrou 568 candidatos.

A etapa crucial foi fazer o modelo ler os comentarios. Claude leu cada comentario junto com o titulo do artigo e atribuiu uma classificacao: recomenda enfaticamente, recomenda, cita como fonte, faz uma piada ou critica. Sem isso, um rickroll compartilhado por 22 pessoas em 18 meses diferentes teria chegado ao topo. Depois da filtragem—88 videos removidos do YouTube, 84 piadas e itens irrelevantes e 8 itens sem dados—restaram 388 videos. Para cada um, o modelo escreveu uma descricao em russo, informou o tipo e o nivel e acrescentou uma observacao sobre desatualizacao.

O site e um conjunto de arquivos estaticos: um index.json e um arquivo separado de comentarios para cada video. As curtidas e o historico ficam no localStorage; nao ha servidor com banco de dados, e tudo esta hospedado no Cloudflare Workers.

Seis armadilhas

A lista de armadilhas e mais util do que o proprio site, pois elas sao comuns em qualquer projeto com grandes volumes de dados.

• O conjunto de dados original de Ilya Gusev exige a aceitacao de termos e retorna 401. O autor encontrou uma copia aberta e conferiu o esquema e o numero de linhas por meio do datasets-server, em vez de confiar no nome.
• O arquivo tem 6,2 GB, enquanto havia 4 GB livres no notebook. A solucao foi alugar um servidor e ler apenas as colunas necessarias dos arquivos Parquet, em lotes de 300 artigos. Um arquivo com 10 mil artigos e processado em cerca de 3 segundos.
• Links do YouTube aparecem em cerca de uma dezena de formatos: youtu.be, embed, shorts, live, nocookie e & dentro do HTML. Uma unica expressao regular resolveu o problema, com uma verificacao de que o ID tinha exatamente 11 caracteres.
• O YouTube bloqueia enderecos de servidores por considera-los bots. Foi necessario coletar uma vez, a partir de um endereco IP residencial, os metadados de 564 videos.
• Por causa do parametro hl=ru, palestras em ingles ativavam automaticamente legendas em russo. cc_load_policy=0 e o carregamento do modulo captions resolveram o problema.

Onde ele e melhor e pior que o original

O "HabTube" tem recursos que nao existem no HackerTube: pular trechos patrocinados por meio do SponsorBlock—em 4 de novembro, havia marcacoes para 41 videos, cobrindo 59 trechos e 42 minutos—e descricoes em russo ate mesmo para palestras em ingles. A colecao de Karpathy tem 17 vezes mais videos, e os dados sao recentes, abrangendo ate 2026. Por enquanto, o HabTube tem dados somente ate fevereiro de 2023; os comentarios de 2023–2026 ainda estao sendo baixados.

Limitacoes e conclusao

As descricoes foram escritas por um modelo, portanto ele pode errar nos detalhes; os comentarios originais ficam anexados abaixo de cada video para verificacao. Na Russia, e preciso usar VPN para reproduzir os videos. Videos do RuTube e do VK quase nunca atingiram o limite.

A conclusao pratica para equipes de produto e fundadores e que a receita—um corpus aberto, um limite baseado em pessoas independentes, um LLM como classificador de tom e uma saida estatica—pode ser reproduzida em uma noite e sem equipe. O elemento mais valioso nao e o codigo, mas o filtro: sem classificar piadas e rickrolls, o resultado seria um feed de memes. Se a sua comunidade tiver um arquivo de discussoes, e possivel montar uma selecao semelhante da mesma forma. Basta verificar antecipadamente a disponibilidade dos dados e lembrar que muitas plataformas limitam IPs de servidores.