Embeddings estáticos procesaron 32,9 millones de textos en un portátil en 35 minutos

Quien haya construido una búsqueda vectorial sobre un corpus grande conoce este momento. Los datos están reunidos, la base de datos vectorial está lista y entonces resulta que convertir los textos en embeddings lleva días. Los modelos transformer captan muy bien el significado, pero en CPU son pesados. O se espera, o se paga por una GPU. El equipo de Qdrant muestra un tercer camino: no ejecutar ninguna red neuronal.

Cómo funciona un modelo sin red neuronal

El modelo estático es casi cómicamente simple. Es un diccionario en el que a cada token del vocabulario del modelo se le asigna de antemano un vector. Para obtener el embedding de un texto hacen falta tres pasos:

1. Dividir el texto en tokens.
2. Sacar de la tabla el vector de cada token.
3. Promediar esos vectores.

No hay capas de atención ni multiplicaciones de matrices por cada consulta, así que todo el trabajo se reduce a operaciones rápidas de memoria. Por eso la velocidad es de otro orden.

Las cifras del experimento. Con el modelo potion-base-8M, los autores vectorizaron 32,9 millones de fragmentos de texto en la CPU de un portátil corriente en 35 minutos. Un modelo transformer habría necesitado para ello unos 53 días. Si se hace la cuenta, la diferencia es de unas 2000 veces. Lo que antes requería un clúster o alquilar tarjetas gráficas ahora se puede hacer durante la pausa del almuerzo.

Dónde está el truco

No hay comida gratis, y los autores señalan abiertamente el precio: baja la calidad de la búsqueda. La causa está en el propio diseño. En un transformer cada token «mira» a sus vecinos y el vector de la palabra depende del contexto. En un modelo estático la palabra tiene un único vector para todas las ocasiones.

Un ejemplo sencillo. La palabra «llave» en las consultas «llave del piso» y «llave de API» recibe el mismo vector. Un transformer distinguiría ambos significados por el entorno, pero el promedio no. Otro problema: el promedio pierde el orden de las palabras. Las frases «el banco concedió un crédito al cliente» y «el cliente concedió un crédito al banco» quedan casi indistinguibles.

El artículo no ofrece cifras concretas de la pérdida de calidad; no figuran en el fragmento original. Por eso no se puede confiar ciegamente en que «con eso basta». Hay que medir con los propios datos y las propias consultas.

Qué hacer con esto en la práctica

Los embeddings estáticos no sustituyen a los transformers en todas partes, pero cubren bien varias situaciones típicas:

• Prototipos y experimentos. Cuando hay que comprobar rápido una idea de búsqueda sobre millones de documentos en lugar de esperar una semana, la vectorización barata ahorra tiempo y dinero.
• Corpus enormes con presupuesto limitado. Si las GPU no están disponibles o no se justifican económicamente, se puede obtener un índice funcional con hardware corriente.
• Búsqueda en dos etapas. Un modelo estático rápido selecciona candidatos y un reranker pesado o un transformer ordena la lista corta. La tosquedad de la primera etapa se compensa con la segunda.
• Reindexaciones frecuentes. Si el corpus se actualiza, la velocidad deja de ser un extra y pasa a ser un requisito.

El algoritmo práctico es este. Tome una muestra representativa de consultas con respuestas correctas conocidas. Páselas por el modelo estático y por el transformer y compare las métricas de búsqueda. Si la brecha es aceptable para su producto, la ganancia en coste y velocidad compensará. Si no, use los vectores estáticos como primera etapa, no como final.

La conclusión principal: no siempre hace falta un modelo «inteligente» en cada paso del pipeline. Parte del trabajo puede dejarse a la tabla más simple y ahorrar días de cómputo; lo importante es medir con honestidad qué se paga a cambio.