LinkedIn: Extracción de competencias basada en LLM — 200 ediciones de perfil por segundo con un modelo 80% más pequeño sin pérdida de calidad

• Extracting skills from content to fuel the LinkedIn Skills Graph — LinkedIn Engineering Blog (Ji Yan et al.), 2023-12-13
• Building and maintaining the skills taxonomy that powers LinkedIn's Skills Graph (39K навыков, 374K алиасов, KGBert) — LinkedIn Engineering Blog (Macskássy et al.), 2023-03-21

Contexto

LinkedIn está reconstruyendo metódicamente el mercado laboral en torno a competencias en lugar de títulos y grados: la apuesta de la empresa es que un enfoque centrado en competencias abre grupos de candidatos más amplios para los empleadores y trayectorias profesionales para los profesionales que un puesto de trabajo por sí solo no puede transmitir. La base técnica de la estrategia es el Skills Graph: una taxonomía de competencias vinculadas a miembros, ofertas de empleo, cursos y contenido de plataforma.

La escala de la taxonomía se describe en una publicación de ingeniería separada (marzo de 2023): casi 39.000 competencias, 374.000 alias en 26 locales (diferentes formas de escribir una competencia, como 'análisis de datos' y 'análisis de datos'), y más de 200.000 bordes entre nodos; desde febrero de 2021, el gráfico había crecido casi un 35%. Las competencias forman una poliarquía de 'linajes de conocimiento': por ejemplo, 'Construcción en Altamar' hereda tanto de 'Construcción' como de 'Petróleo y Gas'. Los taxonomistas mantienen el gráfico junto con ML: el modelo KGBert (basado en la idea de KG-BERT) predice relaciones de competencias más del 20% mejor que el sistema anterior según F1. A finales de 2023, la taxonomía superaba 41.000 competencias.

Pero el gráfico por sí solo es solo un diccionario. El valor emerge cuando cada entidad de plataforma — perfil, oferta de empleo, curso, publicación — se etiqueta correctamente con competencias de ese diccionario. En diciembre de 2023, el equipo de AI de LinkedIn (el responsable técnico Ji Yan y coautores) publicó un análisis profundo de la canalización de producción que extrae competencias de todo el contenido de la plataforma utilizando codificadores LLM — dentro de restricciones de producción estrictas: el flujo global de ediciones de perfil en infraestructura CPU, sin GPUs costosas.

Problema

Las competencias en perfiles, ofertas de empleo y publicaciones son texto libre, en docenas de idiomas, y a menudo implícitas: ¿'canalizaciones ETL construidas' significan Spark? ¿Airflow? ¿SQL? La coincidencia ingenua de diccionario pierde contexto y se ahoga en homónimos, mientras que las personas nombran la misma competencia de cientos de formas — de ahí los 374.000 alias en la taxonomía. Y el texto debe estar vinculado no a etiquetas abstractas sino a nodos específicos en un gráfico de 41.000 competencias — incluyendo inferencia jerárquica: 'BERT' en un perfil también dice algo sobre 'NLP' y 'Deep Learning'.

La otra mitad del problema son las restricciones de producción. Los LLM de tamaño completo son demasiado lentos y costosos para el flujo de edición: los perfiles de miembros se editan aproximadamente 200 veces por segundo a nivel mundial, y cada mensaje debe procesarse en menos de 100 milisegundos — en infraestructura de transmisión CPU Samza-BEAM, no en clústeres GPU. El reprocesamiento offline periódico de todo el corpus — cientos de millones de perfiles y publicaciones — añade sus propios requisitos de rendimiento para la canalización.

Finalmente, un error de extracción no es una métrica abstracta: las recomendaciones de empleo, la búsqueda de empleo, la coincidencia de candidatos y la búsqueda de reclutadores dependen todas de la etiquetación de competencias. Una competencia perdida es un candidato que nunca vio el empleo correcto; una espuria es una solicitud irrelevante y tiempo desperdiciado de un reclutador. La calidad de la extracción se convierte directamente en el embudo de contratación de toda la plataforma.

Solución

La canalización de extracción consta de cuatro etapas secuenciales. Primero, segmentación: el texto no estructurado (una oferta de empleo, perfil, currículum) se analiza en secciones estructurales — requisitos aquí, responsabilidades allá, descripción de la empresa en otro lugar. Luego, etiquetación de competencias a través de dos rutas paralelas: coincidencia de diccionario basada en tokens contra la taxonomía y coincidencia semántica. La semántica se maneja mediante un modelo de dos torres construido sobre Multilingual BERT: una torre codifica la oración, la otra una competencia de taxonomía, y el texto se coincide con competencias en un espacio vectorial compartido — entonces 'canalizaciones de procesamiento de datos construidas' encuentra 'ETL' sin una coincidencia literal, en cualquier idioma compatible. La tercera etapa es la expansión: para las competencias encontradas, la canalización recorre el Skills Graph y añade nodos candidatos relacionados de la jerarquía. La etapa final es la puntuación multitarea entre dominios: un codificador de texto contextual basado en transformador y un codificador de entidades (módulos compartidos) más torres separadas por tipo de contenido — ofertas de empleo, perfiles, fuente — puntúan la relevancia de cada par contenido-competencia.

El movimiento clave que hizo posible todo esto en tiempo real es la destilación de conocimiento: un modelo de estudiante compacto entrenado para reproducir el comportamiento del modelo de tamaño completo resultó ser 80% más pequeño sin pérdida de rendimiento. Este es el modelo que sirve el flujo de ~200 ediciones de perfil por segundo en hasta 100 ms por mensaje — en infraestructura CPU Samza-BEAM existente, en un esquema híbrido: procesamiento casi en línea de ediciones en tiempo real más trabajos offline para reprocesamiento de corpus completo cuando los modelos o la taxonomía se actualizan.

Un bucle separado es la retroalimentación del producto integrada directamente en las interfaces: los reclutadores confirman o corrigen competencias al publicar empleos, los solicitantes de empleo califican la relevancia de las competencias coincidentes al postularse, y los miembros dan retroalimentación después de las Evaluaciones de Competencias de LinkedIn. Estas señales fluyen de regreso hacia el entrenamiento, cerrando el ciclo de mejora de la extracción. Las competencias extraídas alimentan el Skills Graph y cada producto que está encima de él: recomendaciones de empleo, búsqueda de empleo, coincidencia de candidatos. Para el futuro, el equipo nombró descripciones de competencias ricas generadas por LLM y un movimiento hacia representaciones de competencias completamente basadas en incrustaciones para coincidencia semántica.

Resultado

En producción, el sistema maneja ~200 ediciones de perfil por segundo en hasta 100 ms por mensaje — en CPU, gracias a un modelo destilado 80% más pequeño que el original. En pruebas A/B en línea, la extracción mejorada de competencias mejoró las métricas en tres productos a la vez. Coincidencia de competencias entre miembros y empleos: +0.87% solicitudes calificadas, +0.40% tasa de solicitud calificada, +0.48% clics de aplicación, +0.24% contrataciones confirmadas predichas. Búsqueda de empleos: +0.76% ingresos PPC, +0.15% sesiones, +0.23% participación. Recomendaciones de empleos: +0.46% contrataciones confirmadas predichas y +0.14% solicitudes.

Estas cifras necesitan dos advertencias. Primero, escala: en una plataforma con cientos de millones de miembros, fracciones de porcentaje en el embudo de contratación son valores absolutos significativos y dinero directo (ingresos PPC). Segundo, la fuente: todos los porcentajes son pruebas A/B internas de LinkedIn del blog de ingeniería, sin auditoría externa; dicho esto, el desglose de métricas detallado y las contrataciones 'predichas' explícitamente (en lugar de reales) hablan del cuidado del informe.

En nuestra opinión, la lección de ingeniería principal del caso es que 'LLM en producción' casi nunca significa 'el modelo más grande en producción'. La fórmula real de LinkedIn: un modelo grande como profesor, un estudiante destilado en servicio, infraestructura CPU en lugar de GPU — y la inteligencia de la canalización reside en el emparejamiento con un gráfico de conocimiento en lugar de en un único transformador gigante. Esta es una arquitectura 'LLM + gráfico de conocimiento' donde la taxonomía proporciona interpretabilidad y control mientras que la red neuronal proporciona comprensión del contexto; contra la moda de soluciones de extremo a extremo, tal híbrido parece conservador, pero es lo que sostiene 200 eventos por segundo en CPU.

Nuestra segunda observación es organizacional: LinkedIn reporta el impacto de la canalización ML en métricas de producto final (solicitudes, contrataciones, ingresos), no precisión de extracción. Esa es una disciplina: un equipo de infraestructura cuyo éxito se mide por las métricas de producto de otros equipos se ve obligado a construir bucles de retroalimentación con esos productos — que LinkedIn hizo al integrar validación de competencias en las interfaces de reclutador y solicitante de empleo.

Lecciones aprendidas

1. La producción de LLM casi nunca significa 'el modelo más grande' sino uno destilado: −80% de tamaño sin pérdida de calidad hizo posible el servicio en CPU dentro de un presupuesto de 100 ms.
2. El híbrido 'LLM + gráfico de conocimiento' vence a extremo a extremo: la taxonomía proporciona interpretabilidad e inferencia jerárquica, la red neuronal proporciona comprensión del contexto y multilingüismo.
3. Reporta impacto en métricas de producto final: LinkedIn cita solicitudes calificadas (+0.87%), ingresos PPC (+0.76%), y contrataciones predichas — no solo precisión de extracción.
4. Integra retroalimentación en el producto: validación de competencias del reclutador, retroalimentación del solicitante de empleo, y resultados de Evaluación de Competencias fluyen de regreso al entrenamiento, cerrando el bucle de calidad.
5. Una arquitectura de dos torres (texto y taxonomía en un espacio compartido) escala a nuevos tipos de contenido y 26 locales sin reentreneamiento de toda la canalización.
6. En plataformas con cientos de millones de usuarios, fracciones de porcentaje son dinero serio: no descartes ganancias A/B 'pequeñas'.
7. Un único gráfico de competencias como capa de datos compartida multiplica el valor de una canalización ML en muchos productos: búsqueda, recomendaciones, coincidencia, herramientas de reclutador.

Preguntas frecuentes