Vector search en Python desde cero: embeddings y búsqueda por similitud

Búsqueda vectorial — es un método de búsqueda por significado semántico, no por coincidencia exacta de palabras clave. En lugar de búsqueda tradicional, convertimos datos en representación vectorial (embeddings) y buscamos los vectores más similares en un espacio de alta dimensionalidad. Esta es la base de sistemas RAG, búsqueda semántica, sistemas de recomendación y aplicaciones de IA modernas.

Qué son los embeddings y la similitud

Los embeddings son representaciones numéricas del texto en forma de un array de 300 a 1500+ números. La frase "el gato se sienta en el sofá" y "el gato descansa en el sillón" tendrán embeddings ubicados cerca uno del otro en el espacio vectorial, aunque las palabras utilizadas sean completamente diferentes. Para medir la distancia entre vectores, se utiliza la similitud de coseno (cosine similarity) — muestra el ángulo entre dos vectores. El valor varía de 0 (diferencia completa) a 1 (identidad), lo que facilita clasificar los resultados de búsqueda.

Componentes clave de la búsqueda vectorial

Un motor de búsqueda vectorial consta de varios componentes críticos, cada uno importante para el funcionamiento correcto:

• Generador de embeddings — convierte texto en un vector (utiliza OpenAI, HuggingFace, SentenceTransformers)
• Almacenamiento de vectores — guarda embeddings (en memoria, SQLite, o bases de datos especializadas como Pinecone, Weaviate)
• Función de similitud — calcula la distancia entre vectores (coseno, euclidiana, producto escalar)
• Lógica de recuperación — encuentra los top-K resultados similares y clasifica por relevancia
• Indexación — acelera la búsqueda mediante estructuras de datos jerárquicas

Implementación paso a paso en Python

En Python esto se implementa de manera relativamente simple. Primero, elegimos un modelo para generar embeddings — por ejemplo, SentenceTransformers de Hugging Face, que funciona localmente sin necesidad de claves API. Luego, para cada documento en nuestra colección, generamos un embedding y lo guardamos en una estructura (por ejemplo, un diccionario o DataFrame). Cuando un usuario realiza una consulta, generamos un embedding de su pregunta y lo comparamos con todos los embeddings almacenados. Calculamos la similitud de coseno para cada documento, ordenamos los resultados en orden descendente de similitud y devolvemos los top-5 o top-10 documentos más relevantes. Todo el proceso lleva milisegundos en conjuntos de datos pequeños.

"La búsqueda vectorial no es magia, sino la aplicación de álgebra

lineal simple con optimizaciones para la velocidad."

Optimización y escalabilidad

En conjuntos de datos pequeños (hasta 10K documentos), puede almacenar embeddings directamente en memoria o en una base de datos común. Pero al escalar a millones de documentos, necesita bases de datos vectoriales especializadas (Pinecone, Weaviate, Milvus, Qdrant) con indexación integrada para búsqueda rápida. La indexación permite buscar no a través de iteración lineal de todos los vectores, sino a través de estructuras jerárquicas (HNSW, IVF-PQ), lo que proporciona una aceleración de 100–1000 veces. La elección del modelo de embedding también es crítica — los modelos más potentes (por ejemplo, OpenAI text-embedding-3-large) proporcionan una comprensión semántica más precisa, pero son más lentos y costosos. Para producción, generalmente se eligen modelos compactos y optimizados que funcionan localmente.

Qué significa esto

La búsqueda vectorial se ha convertido en un estándar de la industria para aplicaciones de IA. Si estás construyendo un chatbot con memoria, un motor de búsqueda inteligente, un sistema de recomendación, una aplicación RAG o un sistema de detección de plagio — necesitas entender la búsqueda vectorial de adentro hacia afuera. Empezando desde cero en Python, obtendrás una comprensión fundamental de cómo funcionan las bases de datos vectoriales modernas y por qué son tan poderosas.