Machine Learning Mastery: Busca semântica com embeddings em vez de palavras-chave

A busca por palavras-chave é uma ilusão. Enquanto o usuário digita as palavras exatas do documento, o sistema funciona. Mas a vida real é mais complexa: as pessoas descrevem uma ideia com suas próprias palavras, em vez de repetir mecanicamente o texto. Machine Learning Mastery analisa por que esse método falhou e como substituí-lo com embeddings e metadados.

Quando as palavras-chave não funcionam

Imagine uma base com uma receita: «Ovos são batidos com leite em velocidade máxima por 3 minutos». O usuário procura por «como misturar ovos com leite». O sistema não encontrará nada — na consulta não há a palavra «bater». A distância entre as palavras pode ser enorme, mas o significado é o mesmo. Isso não se aplica apenas a receitas. Busca em documentos, artigos de pesquisa, FAQ, guias de referência — em todos os lugares surge um problema: nenhuma correspondência literal = nenhum resultado. O usuário pensa em significado, enquanto o algoritmo procura por correspondência de letras. Esses mundos nunca se encontram.

Em aplicações corporativas, isso é particularmente crítico. Um funcionário procura por «regras de férias», mas a base contém «política de tempo remunerado de ausência». O sistema não encontrará o documento necessário, embora o significado seja óbvio. Resultado: informação perdida, tempo desperdiçado, decepção.

Embeddings de LLM para semântica

Solução: transformar texto em número — um vetor que codifica significado. O texto «Ovos são batidos com leite» e «Como misturar ovos com leite?» receberão vetores próximos, porque embeddings entendem significado, não morfologia.

Machine Learning Mastery mostra a abordagem em Python: primeiro geramos embeddings para todos os documentos (uma vez — é caro), depois para a consulta do usuário. Em seguida, calculamos a distância do cosseno entre os vetores e retornamos os documentos com a menor distância.

Embeddings capturam sinônimos, paráfrases, ideias semanticamente próximas. «Mexer», «misturar», «combinar» — o modelo entende que é o mesmo conceito. Mesmo se o usuário escrever «unir leite com ovos», o sistema encontrará a receita de batida. Aí está a mágica: embeddings de vetores funcionam no nível do significado, não de letras.

Metadados como filtro e classificação

Mas embeddings sem contexto podem ser imprecisos. É para isso que os metadados servem: data do documento, categoria, fonte, autoridade. Essa é informação estruturada que ajuda a refinar a busca.

Exemplo: consulta «como cozinhar ovos». Embeddings encontrarão 1000 documentos — receitas, artigos científicos, videoblogs, fóruns. Mas o usuário precisa de receitas rápidas publicadas este ano. Os metadados resolvem esse problema:

• Filtrar por tipo de conteúdo (receitas vs. trabalhos científicos vs. posts de publicidade)
• Ordenar por data de publicação
• Priorizar fontes confiáveis (sites de culinária vs. blogs pessoais)
• Considerar preferências do usuário (receitas vegetarianas, pratos rápidos, econômicos)

A combinação de embeddings + metadados oferece um sistema poderoso: ele busca não por letras, mas por significado, respeitando contexto e limitações.

O que isso significa

O futuro da busca é uma abordagem híbrida. Embeddings capturam semântica, metadados adicionam estrutura. Para desenvolvedores, isso significa que a busca simples «por correspondência» não é mais suficiente. É necessário pensar em bases de vetores (Pinecone, Weaviate, Qdrant), em como codificar o significado dos documentos e como usar informações contextuais.

Machine Learning Mastery fornece um esquema concreto que pode ser aplicado hoje em qualquer aplicativo com busca.