Разработчик написал агрегатор вакансий на Python, объединив HH, Habr Career и GeekJob

Разработчик, уставший каждое утро вручную обходить пять и более площадок с вакансиями, написал собственный агрегатор поиска работы на Python и опубликовал исходный код в открытом доступе на Habr.

Как устроен агрегатор

Инструмент решает типовую боль соискателей в технической сфере: релевантные вакансии разбросаны по десятку разных источников — от крупных агрегаторов вроде HH.ru до профильных площадок вроде Habr Career и GeekJob, а также многочисленных тематических каналов в Telegram, где рекрутеры и HR публикуют предложения напрямую. Ежедневный ручной обход всех этих источников отнимает время, и значительная часть вакансий при этом дублируется на нескольких площадках одновременно.

• Источники данных — HH, Habr Career, GeekJob и Telegram-каналы
• Реализация — скрипт на Python
• Ключевая функция — автоматическое удаление дублирующихся объявлений
• Доставка результата — уведомления в Telegram
• Исходный код проекта открыт

Почему такие инструменты появляются регулярно

Идея объединить несколько источников вакансий в один поток не нова: аналогичные функции годами предлагают встроенные подписки самих job-бордов, а также сторонние сервисы и Telegram-боты для рынка труда. Но у большинства площадок нет официального публичного API, либо он сильно ограничен, поэтому разработчики, которым нужна гибкая логика фильтрации и дедупликации под себя, чаще пишут собственные скрипты — опираясь на официальные API там, где они есть, и на парсинг публичных страниц там, где API отсутствует.

Публикация исходного кода в открытом доступе — типичная практика для подобных персональных инструментов на Habr: это позволяет другим разработчикам не писать с нуля логику интеграции с уже известными источниками, а доработать готовую базу под собственный стек и набор площадок.

Почему дедупликация — самая нетривиальная часть

На первый взгляд объединение нескольких источников вакансий выглядит простой задачей, но на практике самое сложное в таких агрегаторах — не сбор данных, а их последующая нормализация. Одна и та же вакансия часто публикуется работодателем сразу на нескольких площадках с разными заголовками, слегка отличающимся описанием обязанностей или разной версткой зарплатной вилки, а рекрутинговые агентства нередко дублируют одну позицию под разными названиями компании. Чтобы отфильтровать такие дубликаты, разработчикам приходится сравнивать не точные строки, а смысловое сходство текста — по ключевым словам, названию компании и совпадению зарплатной вилки, — что уже выходит за рамки простого парсинга и требует более гибкой логики сопоставления.

Доставка результата через Telegram — тоже осознанный выбор: мессенджер де-факто стал основным каналом для российского рынка труда в IT, где значительная часть вакансий и так публикуется через тематические каналы и боты, а не только через классические job-борды.

Что это значит

История — небольшой, но показательный пример того, как соискатели и разработчики решают проблему информационной разрозненности рынка труда сами, не дожидаясь единого агрегатора от крупных игроков: пока такого универсального решения на рынке нет, нишевые open source проекты вроде этого продолжают закрывать разрыв для отдельных пользователей.