LinkedIn: extração de habilidades baseada em LLM — 200 edições de perfil por segundo com um modelo 80% menor sem perda de qualidade

Contexto e escala do negócio

O LinkedIn está sistematicamente reconstruindo o mercado de trabalho em torno de habilidades em vez de títulos e graus: a aposta da empresa é que uma abordagem focada em habilidades abre pools de candidatos mais amplos para empregadores e trajetórias de carreira para profissionais que um título de trabalho sozinho não pode transmitir. A base técnica da estratégia é o Skills Graph: uma taxonomia de habilidades vinculada a membros, vagas, cursos e conteúdo da plataforma.

A escala da taxonomia é descrita em um post de engenharia separado (março de 2023): quase 39.000 habilidades, 374.000 aliases em 26 locais (diferentes grafias de uma habilidade, como 'data analysis' e 'data analytics'), e mais de 200.000 arestas entre nós; desde fevereiro de 2021 o gráfico havia crescido quase 35%. As habilidades formam uma polihierarquia de 'linhagens de conhecimento': por exemplo, 'Offshore Construction' herda tanto de 'Construction' quanto de 'Oil and Gas'. Taxonomistas mantêm o gráfico em conjunto com ML: o modelo KGBert (construído sobre a ideia KG-BERT) prevê relacionamentos de habilidades mais de 20% melhor que o sistema anterior por F1. No final de 2023, a taxonomia ultrapassou 41.000 habilidades.

Mas o gráfico em si é apenas um dicionário. O valor surge quando cada entidade da plataforma — perfil, vaga, curso, post — é corretamente marcada com habilidades desse dicionário. Em dezembro de 2023, o time de IA do LinkedIn (tech lead Ji Yan e co-autores) publicou um mergulho profundo no pipeline de produção que extrai habilidades de todo o conteúdo da plataforma usando encoders LLM — dentro de restrições de produção rigorosas: o fluxo global de edições de perfil em infraestrutura CPU, sem GPUs caras.

Problema e gargalos operacionais

Habilidades em perfis, vagas e posts são texto livre, em dezenas de idiomas, e frequentemente implícitas: será que 'built ETL pipelines' significa Spark? Airflow? SQL? A correspondência ingênua de dicionário perde contexto e se afoga em homônimos, enquanto as pessoas nomeiam a mesma habilidade de centenas de maneiras — daí os 374.000 aliases na taxonomia. E o texto deve ser vinculado não a tags abstratas, mas a nós específicos em um gráfico de 41.000 habilidades — incluindo inferência hierárquica: 'BERT' em um perfil também diz algo sobre 'NLP' e 'Deep Learning'.

A outra metade do problema são as restrições de produção. LLMs de tamanho completo são muito lentos e caros para o fluxo de edições: perfis de membros são editados aproximadamente 200 vezes por segundo globalmente, e cada mensagem deve ser processada em menos de 100 milissegundos — em infraestrutura Samza-BEAM CPU streaming, não em clusters GPU. O reprocessamento offline periódico de todo o corpus — centenas de milhões de perfis e postagens — adiciona seus próprios requisitos de throughput para o pipeline.

Finalmente, um erro de extração não é uma métrica abstrata: recomendações de emprego, busca de emprego, correspondência de candidatos e busca de recrutador dependem todas da marcação de habilidades. Uma habilidade perdida é um candidato que nunca viu o trabalho certo; uma espúria é uma aplicação irrelevante e tempo desperdiçado de um recrutador. A qualidade da extração se converte diretamente no funil de contratação de toda a plataforma.

Arquitetura e implementação de IA

O pipeline de extração consiste em quatro estágios sequenciais. Primeiro, segmentação: texto não estruturado (uma vaga, perfil, currículo) é analisado em seções estruturais — requisitos aqui, responsabilidades acolá, descrição da empresa em outro lugar. Então marcação de habilidades via duas rotas paralelas: correspondência de dicionário baseada em token contra a taxonomia e correspondência semântica. A semântica é tratada por um modelo de duas torres construído em Multilingual BERT: uma torre codifica a sentença, a outra uma habilidade de taxonomia, e o texto é correspondido com habilidades em um espaço vetorial compartilhado — então 'built data processing pipelines' encontra 'ETL' sem uma correspondência literal, em qualquer idioma suportado. O terceiro estágio é expansão: para as habilidades encontradas, o pipeline percorre o Skills Graph e adiciona nós candidatos relacionados da hierarquia. O estágio final é pontuação multitarefa entre domínios: um encoder de texto contextual baseado em transformer e um encoder de entidade (módulos compartilhados) mais torres separadas por tipo de conteúdo — vagas, perfis, feed — pontuam a relevância de cada par conteúdo-habilidade.

O movimento-chave que tornou tudo isso possível em tempo real é a destilação de conhecimento: um modelo de aluno compacto treinado para reproduzir o comportamento do modelo de tamanho completo saiu 80% menor sem perda de desempenho. É este modelo que atende o fluxo de ~200 edições de perfil por segundo em até 100 ms por mensagem — em infraestrutura Samza-BEAM CPU existente, em um esquema híbrido: processamento nearline de edições em tempo real mais jobs offline para reprocessamento de corpus completo quando modelos ou a taxonomia atualizam.

Um loop separado é feedback de produto integrado direto nas interfaces: recrutadores confirmam ou corrigem habilidades ao postar vagas, candidatos avaliam a relevância de habilidades correspondidas ao se candidatarem, e membros dão feedback após LinkedIn Skill Assessments. Esses sinais fluem de volta para o treinamento, fechando o ciclo de melhoria de extração. As habilidades extraídas alimentam o Skills Graph e todo produto em cima dele: recomendações de emprego, busca de emprego, correspondência de candidatos. Para o futuro o time nomeou descrições de habilidades ricas geradas por LLM e uma mudança para representações de habilidades totalmente baseadas em embedding para correspondência semântica.

“Com aproximadamente 200 edições de perfil globais por segundo, cada mensagem deve ser processada em menos de 100 milissegundos. — Ji Yan et al., LinkedIn AI

Impacto mensurável e economia

Em produção o sistema processa ~200 edições de perfil por segundo em até 100 ms por mensagem — em CPU, graças a um modelo destilado 80% menor que o original. Em testes A/B online, a extração de habilidades melhorada elevou métricas em três produtos ao mesmo tempo. Correspondência de habilidades job-member: +0,87% aplicações qualificadas, +0,40% taxa de aplicação qualificada, +0,48% cliques de aplicação, +0,24% contratações confirmadas previstas. Busca de emprego: +0,76% receita PPC, +0,15% sessões, +0,23% engajamento. Recomendações de emprego: +0,46% contratações confirmadas previstas e +0,14% aplicações.

Essas figuras precisam de duas ressalvas. Primeira, escala: em uma plataforma com centenas de milhões de membros, frações de um por cento no funil de contratação são valores absolutos significativos e dinheiro direto (receita PPC). Segunda, a fonte: todas as porcentagens são testes A/B internos do LinkedIn do blog de engenharia, sem auditoria externa; dito isto, o detalhamento detalhado de métricas e as contratações explícitas 'previstas' (em vez de reais) falam da atenção do relatório.

Na nossa opinião, a principal lição de engenharia do caso é que 'LLM em produção' quase nunca significa 'o maior modelo em produção'. A fórmula real do LinkedIn: um modelo grande como professor, um aluno destilado em servir, infraestrutura CPU em vez de GPU — e a inteligência do pipeline residindo no pareamento com um gráfico de conhecimento em vez de em um único transformer gigante. Esta é uma arquitetura 'LLM + knowledge graph' onde a taxonomia fornece interpretabilidade e controle enquanto a rede neural fornece compreensão contextual; contra a moda de soluções end-to-end tal híbrida parece conservadora, mas é o que sustenta 200 eventos por segundo em CPU.

Nossa segunda observação é organizacional: o LinkedIn relata o impacto do pipeline de ML em métricas de produto final (aplicações, contratações, receita), não em precisão de extração. Isso é uma disciplina: um time de infraestrutura cujo sucesso é medido por métricas de produtos de outros times é forçado a construir loops de feedback com esses produtos — que o LinkedIn fez ao incorporar validação de habilidades nas interfaces de recrutador e candidato.

Lições para a indústria

Fontes primárias verificadas

1. Extracting skills from content to fuel the LinkedIn Skills Graph ↗ — LinkedIn Engineering Blog (Ji Yan et al.) · 2023-12-13
2. Building and maintaining the skills taxonomy that powers LinkedIn's Skills Graph (39K навыков, 374K алиасов, KGBert) ↗ — LinkedIn Engineering Blog (Macskássy et al.) · 2023-03-21