Machine Learning Mastery: búsqueda semántica con embeddings en lugar de palabras clave

La búsqueda por palabras clave es una ilusión. Mientras el usuario ingrese palabras exactas del documento, el sistema funciona. Pero la vida real es más compleja: las personas describen ideas con sus propias palabras, en lugar de repetir mecánicamente el texto. Machine Learning Mastery explora por qué este método falla y cómo reemplazarlo con embeddings y metadatos.

Cuándo las palabras clave no funcionan

Imagina una base de datos con una receta: "Los huevos se baten con leche a velocidad durante 3 minutos". El usuario busca "cómo mezclar huevos con leche". El sistema no encontrará nada, porque la consulta no contiene la palabra "batir". La distancia entre las palabras puede ser enorme, pero el significado es el mismo.

Esto no solo se aplica a las recetas. Buscar en documentos, artículos de investigación, preguntas frecuentes, manuales—en todas partes surge el mismo problema: sin coincidencia literal = sin resultados. El usuario piensa en significado, mientras que el algoritmo busca coincidencia de letras. Estos dos mundos nunca se encuentran.

En aplicaciones empresariales, esto es especialmente crítico. Un empleado busca "reglas de vacaciones", pero en la base de datos está escrito "política de tiempo de ausencia remunerada". El sistema no encontrará el documento requerido, aunque el significado es obvio. Resultado: información perdida, tiempo desperdiciado, frustración.

Embeddings de LLM para semántica

Solución: transformar texto en números, un vector que codifique significado. El texto "Los huevos se baten con leche" y "¿Cómo mezclar huevos con leche?" obtendrán vectores similares, porque los embeddings entienden el significado, no la morfología.

Machine Learning Mastery muestra el enfoque en Python: primero generamos embeddings para todos los documentos (una sola vez, esto es costoso), luego para la consulta del usuario. Después calculamos la distancia del coseno entre los vectores y devolvemos los documentos con la menor distancia.

Los embeddings capturan sinónimos, reformulaciones, ideas semánticamente similares. "Remover", "mezclar", "combinar": el modelo entiende que son el mismo concepto. Incluso si el usuario escribe "combinar leche con huevos", el sistema encontrará la receta de batido. Aquí está la magia: los vector embeddings funcionan a nivel de significado, no de letras.

Metadatos como filtro y clasificación

Pero los embeddings sin contexto pueden ser inexactos. Para eso sirven los metadatos: fecha del documento, categoría, fuente, autoridad. Esta información estructurada ayuda a refinar la búsqueda.

Ejemplo: la consulta "cómo cocinar huevos". Los embeddings encontrarán 1000 documentos: recetas, artículos científicos, videoblogs, foros. Pero el usuario necesita recetas rápidas publicadas este año. Los metadatos resuelven esta tarea:

• Filtrar por tipo de contenido (recetas vs. artículos científicos vs. publicaciones publicitarias)
• Ordenar por fecha de publicación
• Priorizar fuentes autorizadas (sitios culinarios vs. blogs personales)
• Considerar preferencias del usuario (recetas vegetarianas, platos rápidos, económicos)

La combinación de embeddings + metadatos proporciona un sistema potente: busca no por letras, sino por significado, respetando el contexto y las limitaciones.

Qué significa esto

El futuro de la búsqueda es un enfoque híbrido. Los embeddings capturan la semántica, los metadatos agregan estructura. Para los desarrolladores, esto significa que la simple búsqueda "por coincidencia" ya no es suficiente. Es necesario pensar en bases de datos vectoriales (Pinecone, Weaviate, Qdrant), en cómo codificar el significado de los documentos y cómo usar información contextual.

Machine Learning Mastery proporciona un esquema concreto que se puede aplicar hoy en cualquier aplicación con búsqueda.