Hugging Face Blog→ оригинал

IBM выпустила Granite Embedding R2 — многоязычную модель для семантического поиска

IBM представила Granite Embedding Multilingual R2 — открытую многоязычную модель для семантического поиска с поддержкой 32 тысяч токенов. Разработка лицензирова

IBM выпустила Granite Embedding R2 — многоязычную модель для семантического поиска
Источник: Hugging Face Blog. Коллаж: Hamidun News.
◐ Слушать статью

IBM представила Granite Embedding Multilingual R2 — открытую многоязычную модель для семантического поиска под лицензией Apache 2.0. По тестам на популярных бенчмарках разработка лидирует в категории моделей менее 100 млн параметров.

Что это за модель

Embedding-модели превращают текст в векторы — наборы чисел, которые хранят информацию о смысле текста. Это основа для систем RAG (Retrieval Augmented Generation): сначала такая модель находит релевантные документы в базе, потом большая генеративная модель создаёт на основе этой информации ответ. Granite R2 поддерживает контекст из 32 тысяч токенов — в четыре раза больше, чем у стандартных embedding-моделей. Это значит, что модель может одновременно анализировать целые главы и документы целиком, находя в них нужную информацию для поиска.

Технические характеристики

Модель обучена на данных более чем 30 языков, но работает как одна универсальная сеть без специальных адаптеров. По результатам тестов на MTEB и других стандартных бенчмарках R2 показывает лучшую производительность среди всех моделей в своём весовом классе. Главное — компактность.

Менее 100 млн параметров означают, что модель работает на простом оборудовании: ноутбук разработчика, лёгкий GPU или даже CPU достаточно: 30+ языков в одной модели 32K токенов контекста вместо типичных 8K Менее 100М параметров — быстро на стандартном железе Apache 2.0 лицензия — разрешено коммерческое использование ## Зачем это нужно Раньше выбор был простой: открытые лёгкие модели с посредственным качеством или закрытые облачные API, требующие интернета и денег. Granite R2 разрывает этот стереотип.

Для корпораций это полный контроль над данными — всё работает локально без облака. Для стартапов — простая интеграция и дешевле масштабировать. Никакой зависимости от квот провайдеров, никакой задержки на сетевой запрос.

«Открытая разработка означает, что сообщество может улучшать модель и

адаптировать её под специфичные языки и домены».

Что это значит

Многоязычные embedding-модели достигли того уровня зрелости, когда ими удобно пользоваться в реальных проектах. Для разработчиков RAG-систем это значит меньше зависимостей от облачных гигантов и больше гибкости в интеграции. Индустрия постепенно переходит от облачных API к локальным решениям.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Что вы думаете?
Загружаем комментарии…