Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарLanceDB Blog→ оригинал

Квантизация в OpenVINO сократила время работы CLIP для LanceDB на 75,4% на CPU

Чтобы искать по картинкам, каждое фото превращают в эмбеддинг — набор чисел, и на процессоре этот шаг самый медленный. LanceDB прогнала 83 фото через CLIP от OpenAI на ноутбучном Intel Core i5 с OpenVINO — набором инструментов Intel для ускорения моделей. Конвертация в формат FP16 сократила время на 43%, а 8-битная квантизация INT8 — на 75,4%, до 13,70 секунды. Если эмбеддинги считаются на CPU, начните с конвертации, затем добавьте квантизацию.

AI-обработка оригинала LanceDB Blog; редакция Hamidun News
Квантизация в OpenVINO сократила время работы CLIP для LanceDB на 75,4% на CPU
Источник: LanceDB Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникLanceDB Blog ↗
Главный редактор
Ключевой факт #1100 картинок из Conceptual Captions, рабочими оказались 83
ЖелезоIntel Core i5-13420H, OpenVINO 2023.2, NNCF 2.7.0, только CPU
Ключевой факт #3Качество поиска после INT8-квантизации в материале не измеряли

Представьте каталог на тысячи фотографий, по которому нужно искать запросом «красная кроссовка на снегу» или «найди похожий снимок». Прежде чем что-то искать, каждую картинку надо превратить в эмбеддинг — набор чисел, где похожие по смыслу изображения и подписи оказываются рядом. Именно этот шаг на обычном процессоре без видеокарты занимает больше всего времени. Команда векторной базы LanceDB показала, как его ускорить: модель CLIP от OpenAI, которая понимает и текст, и картинки, они запустили через OpenVINO — бесплатный набор инструментов Intel для ускорения нейросетей. Простая конвертация сократила время расчёта эмбеддингов для 83 картинок на 43%, а сжатие модели до 8-битных чисел (INT8-квантизация) — на 75,4%, до 13,70 секунды.

Что именно проверяли

CLIP — мультимодальная модель: она помещает текст и изображения в общее пространство. Поэтому работают два сценария: поиск картинки по текстовому запросу и поиск похожей картинки по другой картинке. Готовые эмбеддинги складывали в LanceDB и запрашивали по сходству.

Для теста взяли датасет Conceptual Captions с Hugging Face и выбрали из него 100 картинок. После проверки ссылок рабочими остались 83 изображения. Один и тот же конвейер прогнали в трёх вариантах: обычная модель PyTorch из Hugging Face, она же в формате OpenVINO FP16 и в 8-битном формате INT8. Все замеры сделаны на процессоре Intel Core i5-13420H 13-го поколения, без видеокарты, с OpenVINO 2023.2 и NNCF 2.7.0.

Что получилось

Конвертация в OpenVINO FP16 сократила время получения эмбеддингов для 83 картинок на 43%. Авторы описывают это как ускорение примерно на 70%. Код загрузки данных в LanceDB и запросов остался прежним: меняется только способ, которым считаются векторы.

Второй шаг — постобучающая квантизация через NNCF (Neural Network Compression Framework). Числа в модели, которые хранились с 16 битами точности, заменяют на 8-битные, после чего модель запускают через OpenVINO. Расчёт для тех же 83 картинок занял 13,70 секунды — на 75,4% меньше, чем у версии на PyTorch. Авторы называют это ускорением на 400%, то есть примерно в четыре раза.

Аналогия простая: вместо подробных чисел с кучей знаков после запятой модель работает с более грубыми, но короткими. Арифметики становится меньше, и процессор справляется быстрее.

Что это значит на практике

Для прототипов, внутренних инструментов и небольших проектов без GPU рецепт полезен: индексация каталога из тысяч изображений на CPU занимает заметно меньше времени, значит, индекс проще и дешевле обновлять. Если у вас уже есть пайплайн на CLIP и LanceDB, начните с конвертации в FP16, а квантизацию добавьте вторым шагом.

Есть честные оговорки. Во-первых, выборка крошечная: 83 картинки и один ноутбучный процессор. На серверном железе или с большими пакетами цифры могут отличаться. Во-вторых, версии библиотек уже не новые, поэтому API OpenVINO и NNCF стоит сверить с актуальной документацией. В-третьих, в материале приведено только время работы: насколько ухудшилось качество поиска после INT8-квантизации, авторы не показали. Квантизация обычно слегка меняет эмбеддинги, поэтому перед внедрением сравните выдачу старой и новой модели на своих запросах.

Вывод для разработчика: если эмбеддинги считаются на процессоре Intel, потратьте вечер на конвертацию и квантизацию. Это недорогой способ ускорить мультимодальный поиск, но качество выдачи проверьте до выкатки в продакшн.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно проверяли?

CLIP — мультимодальная модель: она помещает текст и изображения в общее пространство. Поэтому работают два сценария: поиск картинки по текстовому запросу и поиск похожей картинки по другой картинке. Готовые эмбеддинги складывали в LanceDB и запрашивали по сходству. Для теста взяли датасет Conceptual Captions с Hugging Face и выбрали из него 100 картинок. После проверки ссылок рабочими остались 83 изображения.

Что известно по теме: что получилось?

Конвертация в OpenVINO FP16 сократила время получения эмбеддингов для 83 картинок на 43%. Авторы описывают это как ускорение примерно на 70%. Код загрузки данных в LanceDB и запросов остался прежним: меняется только способ, которым считаются векторы. Второй шаг — постобучающая квантизация через NNCF (Neural Network Compression Framework). Числа в модели, которые хранились с 16 битами точности, заменяют на 8-битные, после чего модель запускают через OpenVINO.

Что известно по теме: что это значит на практике?

Для прототипов, внутренних инструментов и небольших проектов без GPU рецепт полезен: индексация каталога из тысяч изображений на CPU занимает заметно меньше времени, значит, индекс проще и дешевле обновлять. Если у вас уже есть пайплайн на CLIP и LanceDB, начните с конвертации в FP16, а квантизацию добавьте вторым шагом. Есть честные оговорки. Во-первых, выборка крошечная: 83 картинки и один ноутбучный процессор. На серверном железе или с большими пакетами цифры могут отличаться.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…