Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуX: @OpenAI→ оригинал

OpenAI в 5 раз удешевила эмбеддинги для RAG: $0,02 вместо $0,10 за млн токенов

Эмбеддинги превращают текст в набор чисел, по которому RAG и поиск находят похожие документы. OpenAI выпустила модель text-embedding-3-small: миллион токенов стоит $0,02 вместо $0,10 у прежней ada-002, то есть в пять раз дешевле. В тесте многоязычного поиска MIRACL она находит нужный документ в 44% случаев вместо 31,4%. Если RAG сидит на ada-002, переезд окупится быстро, но архив придётся пересчитать заново.

AI-обработка оригинала X: @OpenAI; редакция Hamidun News
OpenAI в 5 раз удешевила эмбеддинги для RAG: $0,02 вместо $0,10 за млн токенов
Источник: X: @OpenAI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @OpenAI ↗
Главный редактор
Старшая largeвектор из 3072 чисел, MIRACL 54,9%, $0,13 за млн токенов
Параметр dimensions сжимает векторlarge на 256 числах обгоняет ada-002
Векторы старой и новой модели несовместимыиндекс пересобирают целиком

Если вы строите поиск по документам, чат с базой знаний или RAG-систему, эмбеддинги — самая незаметная и при этом самая массовая статья расходов. Каждый кусок текста сначала превращается в набор чисел, а потом система сравнивает эти наборы и находит самое близкое по смыслу. 25 января 2024 года OpenAI объявила об обновлении платформы для разработчиков и выпустила новую модель text-embedding-3-small. Миллион токенов (примерно 750 тысяч английских слов) обработки у неё стоит $0,02, а у прежней text-embedding-ada-002 — $0,10. Это в пять раз дешевле, и качество при этом не упало, а выросло.

В том же анонсе обновился GPT-4 Turbo и подешевел GPT-3.5 Turbo, но именно эмбеддинги сильнее всего меняют экономику поиска, о них и поговорим.

Что именно вышло

Теперь у OpenAI две новые модели: text-embedding-3-small и text-embedding-3-large. Прежняя ada-002 появилась в декабре 2022 года и больше года оставалась выбором по умолчанию.

Младшая small стоит $0,02 за миллион токенов. Для наглядности: если в базе 100 тысяч документов по 1000 токенов, то есть 100 миллионов токенов, разовая индексация обойдётся в $2 вместо $10.

Качество выросло. На англоязычном бенчмарке MTEB small набирает 62,3% против 61,0% у ada-002. Заметнее разница в многоязычном поиске MIRACL: 44,0% против 31,4%. Проще говоря, на запросах не на английском система стала находить нужный документ заметно чаще.

Старшая large выдаёт векторы из 3072 чисел. Она набирает 64,6% на MTEB и 54,9% на MIRACL. Стоит $0,13 за миллион токенов — чуть дороже ada-002, зато это самый точный вариант линейки.

Как работает сжатие векторов

Самая практичная новинка — параметр dimensions. Чем длиннее вектор, тем больше памяти он занимает в векторной базе и тем медленнее поиск. Раньше длину выбрать было нельзя: ada-002 всегда отдавала 1536 чисел.

Теперь вектор можно укоротить прямо при запросе к API. По данным OpenAI, large, урезанная до 256 чисел, на MTEB всё равно обгоняет полноразмерную ada-002 с её 1536 числами. Представьте картотеку: вместо шкафа с подробными карточками вы держите короткие, а нужную находите не хуже прежнего. Для базы на миллионы документов это меньший счёт за хранение и более быстрый поиск.

Что делать на практике

Первое: если у вас продакшн на ada-002 и много запросов, small — очевидный кандидат на замену. Счёт за эмбеддинги упадёт примерно в пять раз.

Второе: переезд не сводится к смене названия модели в коде. Векторы разных моделей несовместимы, поэтому искать новыми векторами по старому индексу нельзя. Придётся заново посчитать эмбеддинги для всех документов. Это разовая операция, и при цене small она обойдётся недорого, но её стоит запланировать и сначала прогнать на копии базы.

Третье: если для вас важен поиск по русским или другим неанглийским текстам, смотрите на MIRACL, а не только на MTEB. Цифры OpenAI получены на публичных тестах, на ваших данных результат может отличаться. Поэтому перед миграцией возьмите собственный набор типичных запросов и сравните, как часто старая и новая модели находят правильный документ.

Четвёртое: если нужен максимум качества, а цена вторична, берите large и сразу экспериментируйте с dimensions. Подберите длину вектора, при которой качество на ваших данных ещё держится, а база остаётся компактной.

Есть и ограничения. Выигрыш small на MTEB — 1,3 пункта, это немного, поэтому главные причины для миграции — цена и многоязычность. Как модели ведут себя на узкоспециальных текстах вроде медицинских или юридических, из анонса не видно. Обновление GPT-4 Turbo и снижение цен на GPT-3.5 Turbo тоже стоит учесть при планировании бюджета, но решение по поиску лучше принимать отдельно и на основе собственных замеров.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно вышло?

Теперь у OpenAI две новые модели: text-embedding-3-small и text-embedding-3-large. Прежняя ada-002 появилась в декабре 2022 года и больше года оставалась выбором по умолчанию. Младшая small стоит $0,02 за миллион токенов. Для наглядности: если в базе 100 тысяч документов по 1000 токенов, то есть 100 миллионов токенов, разовая индексация обойдётся в $2 вместо $10. Качество выросло. На англоязычном бенчмарке MTEB small набирает 62,3% против 61,0% у ada-002.

Что известно по теме: как работает сжатие векторов?

Самая практичная новинка — параметр dimensions. Чем длиннее вектор, тем больше памяти он занимает в векторной базе и тем медленнее поиск. Раньше длину выбрать было нельзя: ada-002 всегда отдавала 1536 чисел. Теперь вектор можно укоротить прямо при запросе к API. По данным OpenAI, large, урезанная до 256 чисел, на MTEB всё равно обгоняет полноразмерную ada-002 с её 1536 числами. Представьте картотеку: вместо шкафа с подробными карточками вы держите короткие, а нужную находите не хуже прежнего.

Что известно по теме: что делать на практике?

Первое: если у вас продакшн на ada-002 и много запросов, small — очевидный кандидат на замену. Счёт за эмбеддинги упадёт примерно в пять раз. Второе: переезд не сводится к смене названия модели в коде. Векторы разных моделей несовместимы, поэтому искать новыми векторами по старому индексу нельзя. Придётся заново посчитать эмбеддинги для всех документов. Это разовая операция, и при цене small она обойдётся недорого, но её стоит запланировать и сначала прогнать на копии базы.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…