Не программист повторил HackerTube Карпатого для Хабра: 388 роликов за вечер

Рекомендации YouTube отлично угадывают, что вы кликнете следующим, и плохо находят доклад, о котором вы будете думать через год. 31 октября Андрей Карпатый выложил HackerTube: 6 454 ролика, которые участники Hacker News с 2007 по 2026 год снова и снова советуют друг другу. По его словам, сайт за около двух часов написал Claude в Claude Code. Автор материала на Хабре повторил эксперимент для русскоязычного сообщества и назвал результат «Хабтюб».

Как это устроено

Источник данных — открытый архив Хабра: 302 049 статей и более 10 млн комментариев до февраля 2023 года. Скрипт вытащил из них 121 379 ссылок на видео. Дальше сработал тот же порог, что у Карпатого: ролик должен посоветовать минимум три разных человека в трёх разных месяцах. Разовый всплеск в горячей ветке так не проходит, а то, что советуют годами, проходит. Таких набралось 568.

Ключевой шаг — чтение комментариев моделью. Каждый комментарий Claude читал вместе с заголовком статьи и ставил метку: горячо советует, советует, ссылается как на источник, шутит, ругает. Без этого в топе оказался бы рикролл: его кидали 22 человека в 18 разных месяцах. После отсева (88 видео удалены с YouTube, 84 шутки и мусор, 8 без данных) осталось 388 роликов. Для каждого модель написала русское описание, тип, уровень и пометку об устаревании.

Сайт — набор статических файлов: один index.json и отдельный файл комментариев на каждый ролик. Лайки и история лежат в localStorage, сервера с базой нет, хостится всё на Cloudflare Workers.

Шесть граблей

Список граблей полезнее самого сайта, потому что они типичны для любого проекта на больших данных.

• Оригинальный датасет Ильи Гусева закрыт согласием на условия и отвечает 401. Автор нашёл открытую копию и сверил схему и число строк через datasets-server, а не по названию.
• Архив весит 6,2 ГБ, а на ноутбуке свободно 4. Решение: арендованный сервер и чтение только нужных колонок из parquet пачками по 300 статей. Файл на 10 тысяч статей разбирается примерно за 3 секунды.
• Ссылки на YouTube бывают десятка форматов: youtu.be, embed, shorts, live, nocookie, & внутри HTML. Помог один регэксп с проверкой, что ID ровно 11 символов.
• Серверные адреса YouTube блокирует как ботов. Метаданные для 564 роликов пришлось собрать один раз с домашнего адреса.
• Из-за параметра hl=ru у английских докладов сами включались русские субтитры. Помогли cc_load_policy=0 и выгрузка модуля captions.

Чем лучше и хуже оригинала

У «Хабтюба» есть то, чего нет у HackerTube: пропуск спонсорских вставок через SponsorBlock (на 4 ноября разметка есть у 41 ролика, 59 вставок, 42 минуты) и русские описания даже у английских докладов. У Карпатого роликов в 17 раз больше, а данные свежие, до 2026 года. У Хабтюба пока данные только до февраля 2023, комментарии за 2023–2026 докачиваются.

Ограничения и вывод

Описания написала модель, поэтому в деталях она может ошибаться; под каждым приложены исходные комментарии для проверки. В России для воспроизведения роликов нужен VPN. Ролики RuTube и VK почти не прошли порог.

Практический вывод для продактов и основателей: рецепт «открытый корпус, порог по независимым людям, LLM как классификатор тона, статика на выходе» воспроизводится за вечер и без команды. Самое ценное здесь — не код, а фильтр: без разметки шуток и рикроллов получилась бы лента мемов. Если у вашего сообщества есть архив обсуждений, похожую подборку можно собрать так же. Только проверяйте доступность данных заранее и не забывайте, что серверные IP режут многие платформы.