LinkedIn: extração de habilidades baseada em LLM — 200 edições de perfil por segundo com um modelo 80% menor sem perda de qualidade

• Extracting skills from content to fuel the LinkedIn Skills Graph — LinkedIn Engineering Blog (Ji Yan et al.), 2023-12-13
• Building and maintaining the skills taxonomy that powers LinkedIn's Skills Graph (39K навыков, 374K алиасов, KGBert) — LinkedIn Engineering Blog (Macskássy et al.), 2023-03-21

Contexto

O LinkedIn está sistematicamente reconstruindo o mercado de trabalho em torno de habilidades em vez de títulos e graus: a aposta da empresa é que uma abordagem focada em habilidades abre pools de candidatos mais amplos para empregadores e trajetórias de carreira para profissionais que um título de trabalho sozinho não pode transmitir. A base técnica da estratégia é o Skills Graph: uma taxonomia de habilidades vinculada a membros, vagas, cursos e conteúdo da plataforma.

A escala da taxonomia é descrita em um post de engenharia separado (março de 2023): quase 39.000 habilidades, 374.000 aliases em 26 locais (diferentes grafias de uma habilidade, como 'data analysis' e 'data analytics'), e mais de 200.000 arestas entre nós; desde fevereiro de 2021 o gráfico havia crescido quase 35%. As habilidades formam uma polihierarquia de 'linhagens de conhecimento': por exemplo, 'Offshore Construction' herda tanto de 'Construction' quanto de 'Oil and Gas'. Taxonomistas mantêm o gráfico em conjunto com ML: o modelo KGBert (construído sobre a ideia KG-BERT) prevê relacionamentos de habilidades mais de 20% melhor que o sistema anterior por F1. No final de 2023, a taxonomia ultrapassou 41.000 habilidades.

Mas o gráfico em si é apenas um dicionário. O valor surge quando cada entidade da plataforma — perfil, vaga, curso, post — é corretamente marcada com habilidades desse dicionário. Em dezembro de 2023, o time de IA do LinkedIn (tech lead Ji Yan e co-autores) publicou um mergulho profundo no pipeline de produção que extrai habilidades de todo o conteúdo da plataforma usando encoders LLM — dentro de restrições de produção rigorosas: o fluxo global de edições de perfil em infraestrutura CPU, sem GPUs caras.

Problema

Habilidades em perfis, vagas e posts são texto livre, em dezenas de idiomas, e frequentemente implícitas: será que 'built ETL pipelines' significa Spark? Airflow? SQL? A correspondência ingênua de dicionário perde contexto e se afoga em homônimos, enquanto as pessoas nomeiam a mesma habilidade de centenas de maneiras — daí os 374.000 aliases na taxonomia. E o texto deve ser vinculado não a tags abstratas, mas a nós específicos em um gráfico de 41.000 habilidades — incluindo inferência hierárquica: 'BERT' em um perfil também diz algo sobre 'NLP' e 'Deep Learning'.

A outra metade do problema são as restrições de produção. LLMs de tamanho completo são muito lentos e caros para o fluxo de edições: perfis de membros são editados aproximadamente 200 vezes por segundo globalmente, e cada mensagem deve ser processada em menos de 100 milissegundos — em infraestrutura Samza-BEAM CPU streaming, não em clusters GPU. O reprocessamento offline periódico de todo o corpus — centenas de milhões de perfis e postagens — adiciona seus próprios requisitos de throughput para o pipeline.

Finalmente, um erro de extração não é uma métrica abstrata: recomendações de emprego, busca de emprego, correspondência de candidatos e busca de recrutador dependem todas da marcação de habilidades. Uma habilidade perdida é um candidato que nunca viu o trabalho certo; uma espúria é uma aplicação irrelevante e tempo desperdiçado de um recrutador. A qualidade da extração se converte diretamente no funil de contratação de toda a plataforma.

Solução

O pipeline de extração consiste em quatro estágios sequenciais. Primeiro, segmentação: texto não estruturado (uma vaga, perfil, currículo) é analisado em seções estruturais — requisitos aqui, responsabilidades acolá, descrição da empresa em outro lugar. Então marcação de habilidades via duas rotas paralelas: correspondência de dicionário baseada em token contra a taxonomia e correspondência semântica. A semântica é tratada por um modelo de duas torres construído em Multilingual BERT: uma torre codifica a sentença, a outra uma habilidade de taxonomia, e o texto é correspondido com habilidades em um espaço vetorial compartilhado — então 'built data processing pipelines' encontra 'ETL' sem uma correspondência literal, em qualquer idioma suportado. O terceiro estágio é expansão: para as habilidades encontradas, o pipeline percorre o Skills Graph e adiciona nós candidatos relacionados da hierarquia. O estágio final é pontuação multitarefa entre domínios: um encoder de texto contextual baseado em transformer e um encoder de entidade (módulos compartilhados) mais torres separadas por tipo de conteúdo — vagas, perfis, feed — pontuam a relevância de cada par conteúdo-habilidade.

O movimento-chave que tornou tudo isso possível em tempo real é a destilação de conhecimento: um modelo de aluno compacto treinado para reproduzir o comportamento do modelo de tamanho completo saiu 80% menor sem perda de desempenho. É este modelo que atende o fluxo de ~200 edições de perfil por segundo em até 100 ms por mensagem — em infraestrutura Samza-BEAM CPU existente, em um esquema híbrido: processamento nearline de edições em tempo real mais jobs offline para reprocessamento de corpus completo quando modelos ou a taxonomia atualizam.

Um loop separado é feedback de produto integrado direto nas interfaces: recrutadores confirmam ou corrigem habilidades ao postar vagas, candidatos avaliam a relevância de habilidades correspondidas ao se candidatarem, e membros dão feedback após LinkedIn Skill Assessments. Esses sinais fluem de volta para o treinamento, fechando o ciclo de melhoria de extração. As habilidades extraídas alimentam o Skills Graph e todo produto em cima dele: recomendações de emprego, busca de emprego, correspondência de candidatos. Para o futuro o time nomeou descrições de habilidades ricas geradas por LLM e uma mudança para representações de habilidades totalmente baseadas em embedding para correspondência semântica.

Resultado

Em produção o sistema processa ~200 edições de perfil por segundo em até 100 ms por mensagem — em CPU, graças a um modelo destilado 80% menor que o original. Em testes A/B online, a extração de habilidades melhorada elevou métricas em três produtos ao mesmo tempo. Correspondência de habilidades job-member: +0,87% aplicações qualificadas, +0,40% taxa de aplicação qualificada, +0,48% cliques de aplicação, +0,24% contratações confirmadas previstas. Busca de emprego: +0,76% receita PPC, +0,15% sessões, +0,23% engajamento. Recomendações de emprego: +0,46% contratações confirmadas previstas e +0,14% aplicações.

Essas figuras precisam de duas ressalvas. Primeira, escala: em uma plataforma com centenas de milhões de membros, frações de um por cento no funil de contratação são valores absolutos significativos e dinheiro direto (receita PPC). Segunda, a fonte: todas as porcentagens são testes A/B internos do LinkedIn do blog de engenharia, sem auditoria externa; dito isto, o detalhamento detalhado de métricas e as contratações explícitas 'previstas' (em vez de reais) falam da atenção do relatório.

Na nossa opinião, a principal lição de engenharia do caso é que 'LLM em produção' quase nunca significa 'o maior modelo em produção'. A fórmula real do LinkedIn: um modelo grande como professor, um aluno destilado em servir, infraestrutura CPU em vez de GPU — e a inteligência do pipeline residindo no pareamento com um gráfico de conhecimento em vez de em um único transformer gigante. Esta é uma arquitetura 'LLM + knowledge graph' onde a taxonomia fornece interpretabilidade e controle enquanto a rede neural fornece compreensão contextual; contra a moda de soluções end-to-end tal híbrida parece conservadora, mas é o que sustenta 200 eventos por segundo em CPU.

Nossa segunda observação é organizacional: o LinkedIn relata o impacto do pipeline de ML em métricas de produto final (aplicações, contratações, receita), não em precisão de extração. Isso é uma disciplina: um time de infraestrutura cujo sucesso é medido por métricas de produtos de outros times é forçado a construir loops de feedback com esses produtos — que o LinkedIn fez ao incorporar validação de habilidades nas interfaces de recrutador e candidato.

Lições aprendidas

1. LLM em produção quase nunca significa 'o maior modelo' mas um destilado: −80% de tamanho sem perda de qualidade tornou possível o serviço CPU dentro de um orçamento de 100 ms.
2. O híbrido 'LLM + knowledge graph' vence end-to-end: a taxonomia fornece interpretabilidade e inferência hierárquica, a rede neural fornece compreensão contextual e multilingualidade.
3. Reporte impacto em métricas de produto final: o LinkedIn cita aplicações qualificadas (+0,87%), receita PPC (+0,76%), e contratações previstas — não apenas precisão de extração.
4. Construa feedback no produto: validação de habilidade de recrutador, feedback de candidato, e resultados de Skill Assessment fluem de volta para treinamento, fechando o loop de qualidade.
5. Uma arquitetura de duas torres (texto e taxonomia em um espaço compartilhado) escala para novos tipos de conteúdo e 26 locais sem retreinar todo o pipeline.
6. Em plataformas com centenas de milhões de usuários, frações de um por cento são dinheiro sério: não descarte ganhos 'pequenos' de A/B.
7. Um único gráfico de habilidades como uma camada de dados compartilhada multiplica o valor de um pipeline ML em muitos produtos: busca, recomendações, correspondência, ferramentas de recrutador.

Perguntas frequentes