Un développeur crée en Python un agrégateur d'offres d'emploi qui réunit HH, Habr Career et GeekJob

Lassé de parcourir chaque matin, à la main, au moins cinq sites d'offres d'emploi, un développeur a écrit son propre agrégateur de recherche d'emploi en Python. Il en a publié le code source en accès libre sur Habr.

Comment fonctionne l'agrégateur

L'outil s'attaque à un problème classique des candidats dans la tech : les offres pertinentes sont dispersées sur une dizaine de sources. On y trouve de grands agrégateurs comme HH.ru, des plateformes spécialisées comme Habr Career et GeekJob, ainsi que de nombreux canaux Telegram thématiques où recruteurs et RH publient directement leurs offres. Passer en revue toutes ces sources chaque jour prend du temps, d'autant qu'une part importante des offres apparaît simultanément sur plusieurs plateformes.

• Sources de données : HH, Habr Career, GeekJob et canaux Telegram
• Implémentation : script Python
• Fonction clé : suppression automatique des annonces en double
• Livraison des résultats : notifications Telegram
• Le code source du projet est ouvert

Pourquoi ce type d'outil revient régulièrement

Réunir plusieurs sources d'offres dans un flux unique n'a rien de nouveau : les abonnements intégrés aux job boards, mais aussi des services tiers et des bots Telegram dédiés au marché de l'emploi, proposent des fonctions similaires depuis des années. Mais la plupart des plateformes n'offrent pas d'API publique officielle, ou seulement une API très limitée. Les développeurs qui veulent une logique de filtrage et de déduplication sur mesure préfèrent donc souvent écrire leurs propres scripts : ils s'appuient sur les API officielles lorsqu'elles existent, et sur le scraping des pages publiques lorsqu'elles sont absentes.

Publier le code source en accès libre est une pratique courante pour ce genre d'outils personnels sur Habr. D'autres développeurs n'ont ainsi pas à réécrire de zéro l'intégration avec des sources déjà connues : ils peuvent adapter une base existante à leur propre stack et à leur sélection de plateformes.

Pourquoi la déduplication est la partie la plus délicate

À première vue, agréger plusieurs sources d'offres semble simple. En pratique, le plus difficile dans ce type d'agrégateur n'est pas la collecte des données, mais leur normalisation. Un employeur publie souvent la même offre sur plusieurs plateformes avec des intitulés différents, une description des missions légèrement modifiée ou une fourchette de salaire présentée autrement. Les cabinets de recrutement, eux, dupliquent fréquemment un même poste sous différents noms d'entreprise. Pour filtrer ces doublons, les développeurs doivent comparer non pas des chaînes exactes, mais la similarité sémantique des textes : mots-clés, nom de l'entreprise, correspondance de la fourchette de salaire. Cela dépasse le simple scraping et exige une logique de rapprochement plus souple.

La livraison via Telegram relève, elle aussi, d'un choix délibéré : la messagerie est de facto devenue le principal canal du marché de l'emploi IT en Russie, où une part importante des offres passe déjà par des canaux et bots thématiques, et pas seulement par les job boards classiques.

Ce que cela signifie

Cette histoire est un exemple modeste mais révélateur : candidats et développeurs règlent eux-mêmes le problème de la fragmentation du marché de l'emploi, sans attendre qu'un grand acteur lance un agrégateur unique. Tant qu'aucune solution universelle de ce type n'existe sur le marché, des projets open source de niche comme celui-ci continuent de combler le vide pour des utilisateurs individuels.