Карпати за выходные собрал HackerTube: 6 454 видео из 43 млн комментариев HN

Знакомая ситуация: открываешь YouTube, а лента подсовывает то, что удерживает внимание, но не то, что стоит смотреть. Андрей Карпати решил проблему по-инженерному и за выходные сделал HackerTube. Это подборка видео, которые сообщество Hacker News рекомендует на протяжении двух десятилетий.

Что именно сделали

По словам Карпати, Claude отфильтровал 43 млн комментариев HN за 20 лет до 6 454 видео, которые там «продолжают рекомендовать». На всё ушло около двух часов работы с Opus 5.5. Сам он называет результат значительно лучшим опытом просмотра, чем рекомендации YouTube.

Пост набрал больше 3,5 млн просмотров. Дело не только в имени автора. Идея понятна с первого взгляда, а повторить её хочется почти каждому, кто смотрит технические видео.

Как это, скорее всего, устроено

Карпати в посте не раскрывает детали реализации, поэтому дальше наша реконструкция, а не пересказ его кода. Логика такая: в комментариях HN люди постоянно оставляют ссылки на видео со словами вроде «обязательно посмотрите». Если ссылка всплывает снова и снова, через годы и в разных темах, это сильный сигнал. Его не накрутишь кликбейтной обложкой, потому что рекомендует человек, который уже посмотрел и счёл нужным написать.

Простой пример. Лекцию по устройству компиляторов упоминают в тредах про языки программирования в 2012, 2016 и 2023 годах. Алгоритму YouTube это ничего не говорит. Для фильтра по комментариям это очевидный кандидат в список.

На 43 млн комментариев вручную такую работу не сделать. Для LLM это типичная задача: прочитать большой текстовый массив, вытащить упоминания, отсеять шум и оценить, где совет настоящий, а где ссылка попала в тред случайно. Именно такой формат подходит агентному кодингу: нужен небольшой одноразовый инструмент, а не продукт на годы.

Почему это важно разработчикам и продактам

Во-первых, это пример того, как изменилась цена «хакерских» проектов. Задача, которая раньше требовала недели скриптов, парсинга и ручной чистки, по словам автора, укладывается в два часа и один вечер. Порог входа для личных инструментов упал.

Во-вторых, это сигнал для тех, кто делает рекомендательные системы. Курирование сообществом снова выглядит как рабочая альтернатива персонализации по поведению. Люди устали от ленты, оптимизированной под время в приложении, и готовы смотреть то, что проверено другими людьми.

В-третьих, это шаблон для собственных экспериментов. Возьмите архив, в котором люди годами оставляли оценки: комментарии, обсуждения, тикеты, отзывы. Попросите модель вытащить повторяющиеся рекомендации и соберите из них витрину. Для внутренней базы знаний команды или для обучающего каталога в продукте это вполне реальный сценарий.

Ограничения

Стоит трезво смотреть на то, чего мы не знаем. Метрики качества нет: «значительно лучше» — это субъективная оценка автора. Неясно, как отсеивались ложные срабатывания и как учитывались давние ссылки на удалённые или изменившиеся видео. Не раскрыто и то, какая доля из 6 454 роликов реально хороша.

Есть и системное смещение. Аудитория HN узкая: в основном программисты, поэтому подборка отражает их вкусы и пузырь. Для разработчика это плюс, для остальных тем может быть минус. К тому же со временем выживают видео, которые уже популярны, а новые хорошие работы не успевают набрать упоминаний.

Вывод

HackerTube — не революция, а наглядная демонстрация того, на что способна связка «большой архив человеческих рекомендаций плюс модель-аналитик». Если у вас есть корпус текстов, где люди сами отмечают, что стоит внимания, попробуйте собрать из него простую выжимку в выходные. По рассказу Карпати, это занимает часы, а не недели.