TechCrunch→ оригинал

Южнокорейский стартап XCENA привлёк $135M, ставя на память вместо вычислений

Южнокорейский стартап XCENA получил $135M финансирования на оценке в $570M. Компания оспаривает общепринятое мнение индустрии: узким местом современного AI явля

Южнокорейский стартап XCENA привлёк $135M, ставя на память вместо вычислений
Источник: TechCrunch. Коллаж: Hamidun News.
◐ Слушать статью

Южнокорейский чип-стартап XCENA привлёк $135 млн в инвестициях на оценке в $570 млн. Компания ставит на контринтуитивный тезис: узким местом в развитии современного AI является не вычислительная мощность GPU, а скорость доступа к памяти.

Проблема всех видят, но не все понимают её настоящую причину

Индустрия последние два года одержима дефицитом GPU. Каждый день в новостях — нехватка вычислительных мощностей, войны за чипы, ограничения на покупку. XCENA смотрит на эту же проблему, но видит её иначе. По их логике, даже если вы дадите модели самый мощный чип в мире, она будет тратить огромное время просто ожидая, пока нужные данные придут из памяти в вычислительное ядро. Это явление, известное как memory bottleneck, давит на производительность куда сильнее, чем многие замечают. Архитектура современного GPU это подтверждает. Вычислительное ядро способно выполнять операции в наносекундах. Доступ к памяти? Часто это миллиарды наносекунд ожидания. Получается парадокс: процессор готов вычислять, но вынужден ждать, пока приедят данные.

Проблема растёт с размером и сложностью моделей Проблема обостряется экспоненциально.

При обучении триллион-параметровой модели объём данных, который нужно переместить между памятью и процессором, становится просто астрономическим. Память не успевает обслуживать поток запросов.

  • Каждое удвоение параметров модели экспоненциально растит требования к памяти Время доступа к памяти растёт нелинейно с увеличением объёма Энергопотребление на перемещение данных превосходит энергопотребление самих вычислений * Даже передовые GPU работают на 30-50% от своего потенциала из-за ожидания памяти Инженеры в крупных лабораториях уже видят эту проблему на практике. При обучении GPT-масштабных моделей значительная часть процессорного времени уходит на ожидание необходимых данных, а не на сами вычисления.

На что ставит XCENA

Стартап разрабатывает специализированные архитектуры памяти, которые обещают снизить латенцию доступа и увеличить пропускную способность. Если подход сработает, это может дать огромное конкурентное преимущество лабораториям и компаниям, обучающим большие модели. Инвестиции в $135 млн от серьёзных венчурных фондов означают, что индустрия начинает верить в этот тезис. Это может также указывать на то, что некоторые крупные исследователи и разработчики моделей уже столкнулись с этой проблемой изнутри и активно ищут решения.

Что это значит для будущего AI

Если XCENA прав, архитектура AI-инфраструктуры следующего поколения будет выглядеть иначе. Вместо только гонки за всё более мощными GPU произойдёт параллельная и столь же интенсивная гонка за быстротой доступа к памяти. Это может существенно переопределить, какие компании и лаборатории смогут себе позволить обучение следующего поколения моделей. Может быть, XCENA в своём анализе ошибается, и главное узкое место действительно в вычислениях. Но то, что стартап смог привлечь такие суммы на основе этого видения, говорит: скепсис начинает сменяться серьёзным изучением памяти как критического ограничителя прогресса в AI.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Что вы думаете?
Загружаем комментарии…