Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
Безопасность и правоРазбор · На радарAWS Machine Learning Blog→ оригинал

Exa на 47% улучшила скорость и цену эмбеддингов на чипах AWS Inferentia2

Поисковик Exa превращает веб-страницы в векторы-эмбеддинги, и при десятках миллиардов документов каждая копейка на страницу заметна. Переписав ядра модели под чипы AWS Inferentia2, команда улучшила скорость и цену на миллион документов на 47%. Код писали ИИ-агенты, а автотест точности не пускал их портить качество. Для больших потоков эмбеддингов считайте цену за миллион документов.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Exa на 47% улучшила скорость и цену эмбеддингов на чипах AWS Inferentia2
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Базовая версияFP16 на inf2.xlarge, итог — примерно в 1,5 раза больше документов/с
Автотесткосинусное сходство с эталоном не ниже 0,999 после каждой правки
Ключевой факт #3Переиндексация 30 млрд документов удвоила нагрузку и запустила пересмотр железа

Поисковая компания Exa рассказала, как сделала обработку документов дешевле: после оптимизации под чипы AWS Inferentia2 производительность и стоимость на миллион документов улучшились на 47% по сравнению с первой версией. Речь об эмбеддингах: чтобы страница могла попасть в выдачу семантического поиска, её нужно превратить в вектор чисел. Представьте, что вы меняете модель в RAG-системе и должны заново пересчитать всю базу знаний. Если страниц десятки миллиардов, даже полцента лишних на тысячу документов превращаются в огромный счёт. Практический вывод: при больших потоках эмбеддингов выгоднее оптимизировать код под конкретное железо и считать цену за миллион документов, а не за час аренды сервера.

Зачем понадобилась оптимизация

Exa строит собственный веб-индекс, в котором и страницы, и запросы пользователей попадают в одно векторное пространство. Поэтому стоимость эмбеддинга определяет экономику всего продукта. Поводом для работы стала миграция. Команда переходила на более сильную модель документов и заново считала эмбеддинги для 30 миллиардов приоритетных страниц. Пока шла переиндексация, нагрузка временно удвоилась: старая модель обслуживала живой индекс, новая наполняла новый. Для инженеров это был удобный момент пересмотреть железо и посмотреть на чипы AWS Neuron: Inferentia2 и Trainium2.

Стартовая точка была простой: модель в формате FP16, запущенная параллельно на нескольких ядрах. Все цифры в статье относятся к самому маленькому инстансу inf2.xlarge с одним чипом и двумя ядрами NeuronCore. Один процесс занимает одно ядро, поэтому Kubernetes-поды плотно укладываются на инстансы любого размера, а парк остаётся однородным.

Как набрали 47%

Оптимизация шла по шагам, и почти каждый давал свой вклад.

  • Раскладка весов. Её согласовали с планировщиком и устройством остальной модели. Это убрало лишние транспонирования матриц.
  • Autocast. Компилятор понижает точность в матричных умножениях. Результат проверяли на эталонных данных: косинусное сходство с исходной моделью должно быть не ниже 0,999.
  • Готовые NKI-ядра. Библиотека Neuron Kernel Interface даёт заготовки для типовых слоёв. Ядро внимания «из коробки» принесло следующий прирост.
  • Свой SwiGLU MLP. Профилировщик Neuron Explorer показал, что данные постоянно выгружаются в память HBM и читаются обратно. Из-за этого тензорный движок простаивал. Инженеры написали собственное слитное ядро с неподвижными весами, и простои исчезли. Писали его на высокоуровневом NKI, а к низкоуровневому ISA обращались только для отдельных операций. Так код проще читать и отлаживать.
  • Ядро внимания под свою модель. Универсальные ядра рассчитаны на любые формы данных и тратят вычисления на дополнение (padding). Exa переписала внимание под реальную архитектуру голов модели и сложила несколько шагов в одно матричное умножение. Это сократило обращения к HBM и дало последнее заметное ускорение.

В сумме получилось примерно в 1,5 раза больше документов в секунду. По расчёту Exa, это улучшение на 47% по производительности и стоимости на миллион документов относительно базовой версии. Заголовок оригинала округляет результат до «50%», но точнее ориентироваться на 47%.

Агенты как инженеры по ядрам

Все оптимизации писали ИИ-агенты внутри простой обвязки на платформе Flyte. Каждый агент запускает свой воркфлоу:

  1. Компилирует исполняемый файл NEFF.
  2. Сверяет прямой проход с эталонным набором данных (порог 0,999).
  3. Профилирует один проход.
  4. Гоняет 30-минутный нагрузочный тест на реальном железе.

Агентов подбирали под задачу и бюджет. Лёгкие модели перебирают параметры компилятора. Рассуждающие проверяют гипотезы и ищут узкие места. Самые сильные генераторы кода пишут кастомные ядра. Автоматическая проверка не даёт агентам сломать точность ради скорости. Отдельно пригодились навыки (skills) для разработки под Neuron, потому что многие модели не знают свежий синтаксис NKI.

Гибкость вместо привязки к одному железу

Пока Exa оптимизировала Inferentia2 в регионе us-west-2. Доступность spot- и on-demand-инстансов в регионах разная, и при привязке к одному типу железа легко упереться в нехватку мощностей. Поэтому Exa планирует поды в нескольких регионах из одного управляющего Kubernetes-кластера. Планировщик сравнивает цену за единицу производительности и ставит нагрузку на самые дешёвые узлы. Работа над Inferentia2 перешла на Trainium2 почти без изменений.

Что из этого вынести

Если у вас постоянный поток эмбеддингов, смотрите на цену за миллион документов. Универсальные ядра оставляют запас, если известны точные формы вашей модели. Агентов для низкоуровневой оптимизации можно использовать, но только с жёстким автотестом точности и бенчмарком на реальном железе.

Есть и ограничения. Статью написала сама Exa на площадке AWS, так что это скорее кейс, чем независимый бенчмарк. Абсолютных цен в долларах нет, название модели не раскрыто, а перенос на Trainium2 описан без цифр.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: зачем понадобилась оптимизация?

Exa строит собственный веб-индекс, в котором и страницы, и запросы пользователей попадают в одно векторное пространство. Поэтому стоимость эмбеддинга определяет экономику всего продукта. Поводом для работы стала миграция. Команда переходила на более сильную модель документов и заново считала эмбеддинги для 30 миллиардов приоритетных страниц. Пока шла переиндексация, нагрузка временно удвоилась: старая модель обслуживала живой индекс, новая наполняла новый.

Что известно по теме: как набрали 47%?

Оптимизация шла по шагам, и почти каждый давал свой вклад. Раскладка весов. Её согласовали с планировщиком и устройством остальной модели. Это убрало лишние транспонирования матриц. Autocast. Компилятор понижает точность в матричных умножениях. Результат проверяли на эталонных данных: косинусное сходство с исходной моделью должно быть не ниже 0,999. Готовые NKI-ядра. Библиотека Neuron Kernel Interface даёт заготовки для типовых слоёв. Ядро внимания «из коробки» принесло следующий прирост. Свой SwiGLU MLP.

Что известно по теме: агенты как инженеры по ядрам?

Все оптимизации писали ИИ-агенты внутри простой обвязки на платформе Flyte. Каждый агент запускает свой воркфлоу: Компилирует исполняемый файл NEFF. Сверяет прямой проход с эталонным набором данных (порог 0,999). Профилирует один проход. Гоняет 30-минутный нагрузочный тест на реальном железе. Агентов подбирали под задачу и бюджет. Лёгкие модели перебирают параметры компилятора. Рассуждающие проверяют гипотезы и ищут узкие места. Самые сильные генераторы кода пишут кастомные ядра.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ ИИ-агенты на практике · Академия & Nomad

От чтения про ИИ-агентов — к запуску своего агента за вечер

Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.

Попробовать Академию (72ч бесплатно) →Запустить Nomad Agent
Что вы думаете?
Загружаем комментарии…