Ettin Reranker: как нейросеть улучшает точность поиска
Hugging Face представила Ettin Reranker — семейство из 6 переранжировщиков размерами от 17 миллионов до 1 миллиарда параметров. Модели построены на ModernBERT и обучены методом дистилляции на 143 миллионах примеров. Они используют Flash Attention 2 для ускорения. Самая компактная версия работает в 19 раз быстрее крупного конкурента, но теряет только 0.5% точности.
AI-обработка оригинала Hugging Face Blog; редакция Hamidun News
Hugging Face выпустила Ettin Reranker — нейросеть для переранжирования результатов поиска, представляющую собой семейство из 6 моделей, обученных методом дистилляции от большей модели.
Что такое переранжировщик и чем он отличается от обычных моделей эмбеддингов?
Переранжировщик (cross-encoder) — это специальный класс моделей, которые принимают на вход пару (запрос, документ) и выдают единственный релевантностный скор. Ключевое отличие: переранжировщик кодирует обе последовательности совместно, позволяя им видеть друг друга через все слои трансформера, что обеспечивает более точную оценку релевантности, чем обычные эмбеддинги.
Чем переранжировщик отличается от обычных моделей для поиска?
Переранжировщик (cross-encoder) кодирует запрос и документ совместно через все слои трансформера, позволяя им видеть друг друга. Это обеспечивает более точный скор релевантности, чем модели эмбеддингов, которые кодируют последовательности отдельно.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.