Karpathy criou o HackerTube em um fim de semana: 6.454 videos extraidos de 43 milhoes de comentarios do HN

Uma situacao conhecida: voce abre o YouTube, e o feed oferece o que prende sua atencao, nao aquilo que vale a pena assistir. Andrej Karpathy resolveu o problema como um engenheiro e criou o HackerTube em um fim de semana. Trata-se de uma selecao de videos recomendados pela comunidade do Hacker News ao longo de duas decadas.

O que foi feito exatamente

Segundo Karpathy, Claude filtrou 43 milhoes de comentarios do HN publicados ao longo de 20 anos e chegou a 6.454 videos que as pessoas “continuam recomendando” por la. Todo o projeto levou cerca de duas horas de trabalho com o Opus 5.5. Ele proprio descreve o resultado como uma experiencia de visualizacao significativamente melhor que as recomendacoes do YouTube.

A publicacao ultrapassou 3,5 milhoes de visualizacoes. Isso nao se deve apenas ao nome do autor. A ideia e compreensivel de imediato, e quase todo mundo que assiste a videos tecnicos sente vontade de replica-la.

Como isso provavelmente foi construido

Karpathy nao revelou os detalhes da implementacao na publicacao. Portanto, o que vem a seguir e nossa reconstituicao, e nao uma descricao do codigo dele. A logica e a seguinte: nos comentarios do HN, as pessoas publicam constantemente links para videos acompanhados de frases como “voce precisa assistir”. Se o mesmo link reaparece diversas vezes, ao longo dos anos e em topicos diferentes, isso constitui um sinal forte. Uma miniatura apelativa nao consegue fabricar esse sinal, porque a recomendacao vem de alguem que ja assistiu ao video e considerou importante menciona-lo.

Um exemplo simples. Uma aula sobre o funcionamento de compiladores e mencionada em discussoes sobre linguagens de programacao em 2012, 2016 e 2023. Isso nao diz nada ao algoritmo do YouTube. Para um filtro baseado em comentarios, e uma candidata obvia para a lista.

E impossivel realizar esse trabalho manualmente em 43 milhoes de comentarios. Para um LLM, porem, essa e uma tarefa tipica: ler um grande conjunto de textos, extrair mencoes, eliminar ruido e avaliar onde existe uma recomendacao genuina e onde um link apareceu por acaso em uma discussao. Esse e exatamente o tipo de formato adequado a programacao agencial: o que se precisa e de uma pequena ferramenta descartavel, nao de um produto para durar anos.

Por que isso importa para desenvolvedores e equipes de produto

Em primeiro lugar, e um exemplo de como o custo dos projetos “hacker” mudou. Segundo o autor, uma tarefa que antes exigia uma semana de scripts, analise e limpeza manual agora cabe em duas horas e uma noite. A barreira de entrada para ferramentas pessoais caiu.

Em segundo lugar, e um sinal para quem desenvolve sistemas de recomendacao. A curadoria comunitaria volta a parecer uma alternativa viavel a personalizacao baseada em comportamento. As pessoas estao cansadas de feeds otimizados para maximizar o tempo gasto no aplicativo e estao dispostas a assistir ao que foi validado por outras pessoas.

Em terceiro lugar, e um modelo para experimentos proprios. Escolha um arquivo no qual as pessoas tenham deixado avaliacoes durante anos: comentarios, discussoes, tickets ou resenhas. Peca ao modelo que extraia recomendacoes recorrentes e monte uma vitrine com elas. Para uma base interna de conhecimento de uma equipe ou para um catalogo educacional dentro de um produto, esse e um cenario perfeitamente realista.

Limitacoes

E importante analisar com sobriedade o que nao sabemos. Nao existe uma metrica de qualidade: “significativamente melhor” e uma avaliacao subjetiva do autor. Nao esta claro como os falsos positivos foram filtrados nem como foram tratados links antigos para videos removidos ou alterados. Tambem nao foi revelado que proporcao dos 6.454 videos e realmente boa.

Ha ainda um vies sistemico. O publico do HN e restrito e formado principalmente por programadores, portanto a selecao reflete os gostos e a bolha desse grupo. Para um desenvolvedor, isso e uma vantagem; para outros temas, pode ser uma desvantagem. Alem disso, com o tempo, os videos que ja sao populares tendem a sobreviver, enquanto novos trabalhos de qualidade ainda nao tiveram tempo de acumular mencoes.

Conclusao

O HackerTube nao e uma revolucao, mas uma demonstracao clara do que a combinacao de “um grande arquivo de recomendacoes humanas mais um modelo analista” e capaz de fazer. Se voce tem um corpus de textos no qual as proprias pessoas indicam o que merece atencao, tente transforma-lo em uma selecao simples durante um fim de semana. Segundo o relato de Karpathy, isso agora leva horas, nao semanas.