Desenvolvedor cria agregador de vagas em Python que reúne HH, Habr Career e GeekJob

Cansado de visitar manualmente, toda manhã, cinco ou mais sites de vagas, um desenvolvedor escreveu seu próprio agregador de busca de emprego em Python e publicou o código-fonte abertamente no Habr.

Como o agregador funciona

A ferramenta ataca uma dor comum de quem procura emprego na área de tecnologia: as vagas relevantes ficam espalhadas por uma dezena de fontes diferentes. Elas vão de grandes agregadores como o HH.ru a plataformas especializadas como Habr Career e GeekJob, além de inúmeros canais temáticos no Telegram, onde recrutadores e profissionais de RH publicam ofertas diretamente. Percorrer todas essas fontes manualmente todos os dias consome tempo, e boa parte das vagas aparece duplicada em vários sites ao mesmo tempo.

• Fontes de dados — HH, Habr Career, GeekJob e canais do Telegram
• Implementação — script em Python
• Função principal — remoção automática de anúncios duplicados
• Entrega dos resultados — notificações no Telegram
• O código-fonte do projeto é aberto

Por que ferramentas assim surgem com frequência?

A ideia de reunir várias fontes de vagas em um único fluxo não é nova: há anos as próprias plataformas de emprego oferecem assinaturas integradas com funções parecidas, assim como serviços de terceiros e bots do Telegram voltados ao mercado de trabalho. Mas a maioria dos sites não tem uma API pública oficial, ou ela é bastante limitada. Por isso, desenvolvedores que precisam de uma lógica de filtragem e deduplicação flexível e personalizada costumam escrever seus próprios scripts — usando as APIs oficiais onde elas existem e fazendo scraping de páginas públicas onde não há API.

Publicar o código-fonte abertamente é prática comum para ferramentas pessoais desse tipo no Habr. Assim, outros desenvolvedores não precisam escrever do zero a integração com fontes já conhecidas e podem adaptar a base pronta à sua própria stack e ao seu conjunto de plataformas.

Por que a deduplicação é a parte menos trivial?

À primeira vista, combinar várias fontes de vagas parece uma tarefa simples. Na prática, porém, o mais difícil nesses agregadores não é coletar os dados, e sim normalizá-los depois. A mesma vaga costuma ser publicada pelo empregador em vários sites ao mesmo tempo, com títulos diferentes, descrições de responsabilidades ligeiramente distintas ou faixas salariais formatadas de outro jeito. Agências de recrutamento também frequentemente duplicam a mesma posição sob nomes de empresa diferentes. Para filtrar essas duplicatas, os desenvolvedores precisam comparar não strings exatas, mas a similaridade semântica do texto — por palavras-chave, nome da empresa e coincidência da faixa salarial. Isso já vai além do simples parsing e exige uma lógica de correspondência mais flexível.

Entregar os resultados pelo Telegram também é uma escolha consciente: o mensageiro se tornou, de fato, o principal canal do mercado de trabalho de TI na Rússia, onde boa parte das vagas já é publicada em canais temáticos e bots, e não apenas nos job boards tradicionais.

O que isso significa

O caso é um exemplo pequeno, mas revelador, de como candidatos e desenvolvedores resolvem por conta própria a fragmentação de informações no mercado de trabalho, sem esperar que grandes players lancem um agregador unificado. Enquanto não existir uma solução universal desse tipo no mercado, projetos open source de nicho como este continuam preenchendo a lacuna para usuários individuais.