Le développeur crée un agrégateur d'emplois Python combinant HH, Habr Career et GeekJob

Un développeur, fatigué de vérifier manuellement cinq ou plus de tableaux d'emplois chaque matin, a écrit son propre agrégateur de recherche d'emploi en Python et a publié le code source ouvertement sur Habr.

Comment fonctionne l'agrégateur

L'outil résout un point douloureux typique pour les chercheurs d'emploi dans le domaine technique : les offres d'emploi pertinentes sont dispersées sur une douzaine de sources différentes — des grands agrégateurs comme HH.ru aux plateformes de niche comme Habr Career et GeekJob, ainsi que de nombreux canaux thématiques Telegram où les recruteurs et les équipes RH publient des offres directement. La vérification manuelle quotidienne de toutes ces sources prend du temps, et une part significative des offres d'emploi est dupliquée simultanément sur plusieurs plateformes.

• Sources de données — HH, Habr Career, GeekJob et canaux Telegram
• Implémentation — script Python
• Fonction clé — suppression automatique des annonces en double
• Livraison des résultats — notifications dans Telegram
• Code source du projet est ouvert

Pourquoi de tels outils apparaissent régulièrement

L'idée de combiner plusieurs sources d'emploi dans un seul flux n'est pas nouvelle : des fonctionnalités similaires ont été proposées pendant des années par les abonnements intégrés des sites d'emploi eux-mêmes, ainsi que par des services tiers et des bots Telegram pour le marché du travail. Mais la plupart des plateformes n'ont pas d'API publique officielle, ou elle est fortement limitée, donc les développeurs qui ont besoin d'une logique flexible de filtrage et de dédoublement pour eux-mêmes écrivent souvent leurs propres scripts — en s'appuyant sur les API officielles où elles existent, et en analysant les pages publiques où les API font défaut.

Publier le code source ouvertement est une pratique typique pour ces outils personnels sur Habr : cela permet aux autres développeurs de ne pas écrire à partir de zéro la logique d'intégration avec des sources déjà connues, mais de raffiner la base prête pour leur propre pile et ensemble de plateformes.

Pourquoi la déduplication est la partie la plus non triviale

À première vue, combiner plusieurs sources d'emploi semble être une tâche simple, mais en pratique, la chose la plus difficile dans ces agrégateurs n'est pas la collecte de données, mais sa normalisation ultérieure. La même offre d'emploi est souvent publiée par un employeur simultanément sur plusieurs plateformes avec des titres différents, des descriptions légèrement différentes des responsabilités ou un formatage différent de la fourchette salariale, et les agences de recrutement dupliquent souvent le même poste sous différents noms d'entreprise. Pour filtrer ces doublons, les développeurs doivent comparer non pas les chaînes exactes mais la similarité sémantique du texte — par mots-clés, nom de l'entreprise et fourchette salariale correspondante — ce qui dépasse déjà l'analyse simple et nécessite une logique d'appariement plus flexible.

Livrer le résultat via Telegram est aussi un choix délibéré : le messager est devenu le canal principal de facto pour le marché du travail en informatique russe, où une part significative des offres d'emploi est publiée via des canaux thématiques et des bots, et non seulement via les tableaux d'emplois classiques.

Ce que cela signifie

L'histoire est un petit mais révélateur exemple de comment les chercheurs d'emploi et les développeurs résoudent le problème de la fragmentation de l'information sur le marché du travail eux-mêmes, sans attendre un agrégateur unifié des grands acteurs : tant qu'une telle solution universelle n'existe pas sur le marché, des projets open source de niche comme celui-ci continuent de combler le fossé pour les utilisateurs individuels.