Embeddings estáticos processaram 32,9 milhões de textos em um notebook em 35 minutos

Quem já construiu uma busca vetorial sobre um corpus grande conhece este momento. Os dados estão reunidos, o banco de dados vetorial está pronto e então se descobre que transformar os textos em embeddings leva dias. Os modelos transformer captam muito bem o sentido, mas na CPU são pesados. Resta esperar ou pagar por uma GPU. A equipe da Qdrant mostra um terceiro caminho: não executar rede neural nenhuma.

Como funciona um modelo sem rede neural

O modelo estático é quase cômico de tão simples. É um dicionário em que a cada token do vocabulário do modelo já está associado de antemão um vetor. Para obter o embedding de um texto, bastam três passos:

1. Dividir o texto em tokens.
2. Pegar na tabela o vetor de cada token.
3. Calcular a média desses vetores.

Não há camadas de atenção nem multiplicações de matrizes a cada consulta, então todo o trabalho se resume a operações rápidas de memória. Por isso a velocidade é de outra ordem de grandeza.

Os números do experimento. Com o modelo potion-base-8M, os autores vetorizaram 32,9 milhões de fragmentos de texto na CPU de um notebook comum em 35 minutos. Um modelo transformer precisaria de cerca de 53 dias para isso. Fazendo a conta, a diferença é de aproximadamente 2000 vezes. O que antes exigia um cluster ou aluguel de placas de vídeo agora pode ser feito no tempo de um intervalo de almoço.

Onde está o problema

Não existe almoço grátis, e os autores dizem abertamente o preço: a qualidade da busca cai. A causa está na própria construção. No transformer, cada token «olha» para os vizinhos, e o vetor da palavra depende do contexto. No modelo estático, a palavra tem um único vetor para todas as situações.

Um exemplo simples. A palavra «chave» nas consultas «chave do apartamento» e «chave de API» recebe o mesmo vetor. Um transformer distinguiria esses sentidos pelo entorno, mas a média não. Outro problema: a média perde a ordem das palavras. As frases «o banco concedeu crédito ao cliente» e «o cliente concedeu crédito ao banco» ficam quase indistinguíveis.

O artigo não apresenta números concretos da perda de qualidade; eles não constam no trecho original. Por isso não se pode confiar cegamente que «já está bom». É preciso medir com os seus próprios dados e as suas próprias consultas.

O que fazer com isso na prática

Os embeddings estáticos não substituem os transformers em todo lugar, mas atendem bem a várias situações típicas:

• Protótipos e experimentos. Quando é preciso testar rapidamente uma ideia de busca em milhões de documentos, em vez de esperar uma semana, a vetorização barata economiza tempo e dinheiro.
• Corpus enormes com orçamento limitado. Se as GPUs não estão disponíveis ou não se justificam economicamente, é possível obter um índice funcional em hardware comum.
• Busca em duas etapas. Um modelo estático rápido seleciona candidatos, e um reranker pesado ou um transformer ordena a lista curta. A rudeza da primeira etapa é compensada pela segunda.
• Reindexações frequentes. Se o corpus é atualizado, a velocidade deixa de ser um bônus e passa a ser um requisito.

O algoritmo prático é este. Pegue uma amostra representativa de consultas com respostas corretas conhecidas. Execute-as no modelo estático e no transformer e compare as métricas de busca. Se a diferença for aceitável para o seu produto, o ganho em custo e velocidade compensará. Se não, use os vetores estáticos como primeira etapa, e não como a final.

A principal conclusão: nem sempre é preciso um modelo «inteligente» em cada passo do pipeline. Parte do trabalho pode ser entregue à tabela mais simples, economizando dias de computação; o importante é medir honestamente o que você paga por isso.