Desenvolvedor cria agregador de empregos em Python combinando HH, Habr Career e GeekJob

Um desenvolvedor, cansado de verificar manualmente cinco ou mais tableiros de empregos todas as manhãs, escreveu seu próprio agregador de busca de empregos em Python e publicou o código-fonte abertamente no Habr.

Como funciona o agregador

A ferramenta resolve um ponto de dor típico para quem procura emprego no campo técnico: vagas relevantes estão espalhadas por uma dúzia de fontes diferentes — desde agregadores grandes como HH.ru até plataformas especializadas como Habr Career e GeekJob, bem como numerosos canais temáticos do Telegram onde recrutadores e equipes de RH publicam ofertas diretamente. A verificação manual diária de todas essas fontes leva tempo, e uma parte significativa das vagas é duplicada simultaneamente em várias plataformas.

• Fontes de dados — HH, Habr Career, GeekJob e canais do Telegram
• Implementação — script Python
• Função chave — remoção automática de listagens duplicadas
• Entrega de resultados — notificações no Telegram
• Código-fonte do projeto é aberto

Por que tais ferramentas aparecem regularmente

A ideia de combinar várias fontes de emprego em um fluxo único não é nova: funcionalidade similar tem sido oferecida há anos por assinaturas integradas dos próprios tableiros de emprego, bem como por serviços de terceiros e bots do Telegram para o mercado de trabalho. Mas a maioria das plataformas não possui uma API pública oficial, ou ela é severamente limitada, então desenvolvedores que precisam de lógica flexível de filtragem e desduplicação para si mesmos frequentemente escrevem seus próprios scripts — contando com APIs oficiais onde existem, e analisando páginas públicas onde APIs estão ausentes.

Publicar o código-fonte abertamente é uma prática típica para essas ferramentas pessoais no Habr: permite que outros desenvolvedores não escrevam do zero a lógica de integração com fontes já conhecidas, mas refinem a base pronta para sua própria pilha e conjunto de plataformas.

Por que desduplicação é a parte mais não-trivial

À primeira vista, combinar múltiplas fontes de emprego parece uma tarefa simples, mas na prática, a coisa mais difícil em tais agregadores não é a coleta de dados, mas sua normalização subsequente. A mesma vaga é frequentemente postada por um empregador simultaneamente em várias plataformas com títulos diferentes, descrições ligeiramente diferentes de deveres ou formatação diferente da faixa salarial, e agências de recrutamento frequentemente duplicam a mesma posição sob nomes de empresas diferentes. Para filtrar tais duplicatas, desenvolvedores precisam comparar não strings exatas, mas similaridade semântica de texto — por palavras-chave, nome da empresa e faixa salarial coincidente — o que já vai além de análise simples e requer lógica de correspondência mais flexível.

Entregar o resultado via Telegram é também uma escolha deliberada: o mensageiro se tornou o principal canal de facto para o mercado de trabalho de TI russo, onde uma parte significativa de vagas é publicada através de canais temáticos e bots, não apenas através de tableiros de emprego clássicos.

O que isto significa

A história é um pequeno mas revelador exemplo de como quem procura emprego e desenvolvedores resolvem o problema da fragmentação de informações no mercado de trabalho por conta própria, sem esperar um agregador unificado de grandes players: enquanto tal solução universal não existe no mercado, projetos de código aberto de nicho como este continuam preenchendo a lacuna para usuários individuais.