Ettin Reranker: cómo una red neuronal mejora la precisión de la búsqueda

Hugging Face ha lanzado Ettin Reranker, una red neuronal para reordenar los resultados de búsqueda. Es una familia de 6 modelos entrenados por destilación a partir de un modelo más grande.

¿Qué es un reranker y en qué se diferencia de los modelos de

embeddings habituales? Un reranker (cross-encoder) es una clase especial de modelos que reciben como entrada un par (consulta, documento) y devuelven una única puntuación de relevancia. La diferencia clave: el reranker codifica ambas secuencias de forma conjunta, de modo que pueden verse entre sí a través de todas las capas del transformador. Eso permite una estimación de la relevancia más precisa que la de los embeddings habituales.

¿En qué se diferencia un reranker de los modelos de búsqueda habituales?

Un reranker (cross-encoder) codifica la consulta y el documento de forma conjunta a través de todas las capas del transformador, de modo que se ven entre sí. Esto ofrece una puntuación de relevancia más precisa que los modelos de embeddings, que codifican las secuencias por separado.