Vector search em Python do zero: embeddings e busca por similaridade

Busca vetorial — é um método de busca por significado semântico, não por correspondência exata de palavras-chave. Em vez de busca tradicional, convertemos dados em representação vetorial (embeddings) e buscamos os vetores mais similares em um espaço de alta dimensionalidade. Esta é a base de sistemas RAG, busca semântica, sistemas de recomendação e aplicações de IA modernas.

O que são embeddings e similaridade

Embeddings são representações numéricas de texto na forma de um array de 300 a 1500+ números. A frase "gato senta no sofá" e "gato descansa na poltrona" terão embeddings localizados próximos um do outro no espaço vetorial, embora as palavras usadas sejam completamente diferentes. Para medir a distância entre vetores, usa-se similaridade de cosseno (cosine similarity) — ela mostra o ângulo entre dois vetores. O valor varia de 0 (diferença completa) até 1 (identidade), o que facilita classificar os resultados da busca.

Componentes principais da busca vetorial

Um mecanismo de busca vetorial consiste em várias partes críticas, cada uma importante para o funcionamento correto:

• Gerador de embeddings — converte texto em um vetor (usa OpenAI, HuggingFace, SentenceTransformers)
• Armazenamento de vetores — salva embeddings (em memória, SQLite, ou bancos de dados especializados como Pinecone, Weaviate)
• Função de similaridade — calcula distância entre vetores (cosseno, euclidiana, produto escalar)
• Lógica de recuperação — encontra os top-K resultados similares e classifica por relevância
• Indexação — acelera a busca através de estruturas de dados hierárquicas

Implementação passo a passo em Python

Em Python isso é implementado de forma relativamente simples. Primeiro, escolhemos um modelo para gerar embeddings — por exemplo, SentenceTransformers do Hugging Face, que funciona localmente sem necessidade de chaves de API. Depois, para cada documento em nossa coleção, geramos um embedding e salvamos em uma estrutura (por exemplo, um dicionário ou DataFrame). Quando um usuário faz uma consulta, geramos um embedding de sua pergunta e comparamos com todos os embeddings armazenados. Calculamos similaridade de cosseno para cada documento, ordenamos os resultados em ordem decrescente de similaridade e retornamos os top-5 ou top-10 documentos mais relevantes. Todo o processo leva milissegundos em conjuntos de dados pequenos.

"Busca vetorial não é mágica, mas a aplicação de álgebra linear

simples com otimizações para velocidade."

Otimização e escalabilidade

Em conjuntos de dados pequenos (até 10K documentos), você pode armazenar embeddings diretamente em memória ou em um banco de dados comum. Mas ao escalar para milhões de documentos, você precisa de bancos de dados vetoriais especializados (Pinecone, Weaviate, Milvus, Qdrant) com indexação integrada para busca rápida. A indexação permite buscar não através de iteração linear de todos os vetores, mas através de estruturas hierárquicas (HNSW, IVF-PQ), o que oferece aceleração de 100–1000 vezes. A escolha do modelo de embedding também é crítica — modelos mais poderosos (por exemplo, OpenAI text-embedding-3-large) fornecem compreensão semântica mais precisa, mas são mais lentos e mais caros. Para produção, geralmente escolhem-se modelos compactos e otimizados que funcionam localmente.

O que isso significa

Busca vetorial tornou-se um padrão da indústria para aplicações de IA. Se você está construindo um chatbot com memória, um mecanismo de busca inteligente, um sistema de recomendação, uma aplicação RAG ou um sistema de detecção de plágio — você precisa entender busca vetorial por dentro. Começando do zero em Python, você ganhará compreensão fundamental de como funcionam bancos de dados vetoriais modernos e por que são tão poderosos.