Intel D270 дает до 480 ГБ вместо HBM, а CXL-пулы режут TTFT до 40%

Октябрьский дайджест серверного железа от Selectel выглядит как набор разрозненных анонсов, но в нём есть общая линия. Индустрия пытается обойти дорогую и дефицитную HBM и заодно понять, где в эпоху агентов нужны не GPU, а обычные процессоры. Если вы планируете инференс на собственном железе, эти новости полезно прочитать как карту трендов на 2027 год.

Память вместо скорости: ставка Intel и CXL

Главная идея месяца проста. Для инференса с длинным контекстом объём памяти часто важнее её пиковой пропускной способности. Модель и KV-кэш просто должны поместиться.

Intel построила на этом ускоритель Crescent Island, он же GPU D270. Вместо HBM здесь LPDDR5X: до 480 ГБ у партнёрских версий и 160 ГБ у референсной карты. Карта двухслотовая, PCIe 5.0 x16, с воздушным охлаждением и TDP 350 Вт. По оценке Intel, одна карта вмещает модель на 300 млрд параметров, а восемь карт тянут модели на триллион с лишним. Обещана поддержка PyTorch, vLLM, SGLang и Triton. Для сравнения: у AMD Instinct MI450X до 432 ГБ HBM4, у NVIDIA Rubin 288 ГБ. По объёму сопоставимо, по пропускной способности нет. Автор дайджеста отмечает и слабое место: о связи между картами Intel умалчивает, а там узким горлышком станет PCIe.

С другой стороны к той же проблеме подходит CXL. Marvell представила расширители Structera X 3406 и 3506. Первый держит до 9 ТБ на старой DDR4, второй до 6 ТБ на DDR5. Один контроллер обслуживает до четырёх хостов, а встроенное LZ4-сжатие, по заявлению Marvell, увеличивает эффективный объём в 2–3 раза. Для LLM обещают TTFT на 40–50% ниже при той же длине контекста. Идея в том, чтобы превратить парк серверов на DDR4 в общий пул под KV-кэш.

Samsung и AMD показали похожую схему на модулях CMM-D с механизмом Dynamic Capacity Device. Память выдаётся хосту по запросу и возвращается. Если у одного экземпляра модели разросся контекст, он временно берёт ёмкость из пула. По данным Samsung, TTFT падает до 38%, а goodput растёт до 3,3 раза по сравнению со статическим распределением.

Агентам нужны CPU-стойки

Второй тренд: агентные нагрузки это не только инференс. Вызовы инструментов, исполнение кода, песочницы и оркестрация идут на CPU. AMD выпустила референс Helion, стойку ORv3 только на EPYC Venice с суммарно до 32 768 ядер. Для корпоративных клиентов есть вариант с до 16 GPU Instinct MI350P. В тот же день NVIDIA передала в OCP спецификации MGX 1.2 и описала собственную стойку на CPU Vera для тех же задач. Совпадение выглядит неслучайным: CPU-стойка становится самостоятельной единицей инфраструктуры.

Смежные анонсы: Microsoft Maia 300 с 288 ГБ HBM4 для инференса и агентов, Astera Labs Orion с до 80 любых PCIe-ускорителей в стойке без привязки к NVIDIA и AMD, SSD Kioxia GP1 с более чем 20 млн IOPS как промежуточный слой между HBM и обычными дисками.

Что с этим делать и чему не верить

Почти все новинки пока референсы или образцы. Intel D270 уже у OEM как инженерные образцы, Marvell обещает образцы в первом квартале 2027 года, Astera тоже, а Altera Agilex 27 появится только во второй половине 2027 года. Цен и серийных систем нет. Цифры, как у китайской Iluvatar с её Tiangai 300 «на уровне H200», приведены самой компанией и связанными лабораториями, да ещё в сравнении с чипом 2023 года.

Практический вывод для команд, которые считают собственный инференс:

• Посчитайте, что у вас упирается в узкое место: объём памяти (длинный контекст, большой KV-кэш) или пропускная способность. От ответа зависит, подойдёт ли «медленная, но большая» память.
• Не списывайте старые серверы на DDR4: через CXL они могут стать пулом под кэш, но дождитесь независимых замеров.
• Закладывайте в архитектуру агентов отдельный CPU-контур для инструментов и песочниц, а не только GPU.
• Проверяйте поддержку vLLM и SGLang до покупки. Обещания в пресс-релизе не заменяют работающие ядра.

Главный итог: следующая гонка в инфраструктуре ИИ идёт не только за FLOPS, но и за дешёвый гигабайт на токен контекста.