NPU в ноутбуках: новые требования корпоративной ИТ

Облако медленно теряет монополию на AI-вычисления. Microsoft вписала нейропроцессор в обязательные требования к Copilot+ PC, AMD и Intel встраивают NPU прямо в SoC — и корпоративная ИТ оказывается перед выбором, которого раньше не было.

Три процессора в одном кристалле

Современные SoC вроде AMD Ryzen AI 300 или Intel Core Ultra содержат три вычислителя: классический CPU, GPU и NPU. На словах звучит просто, но нейропроцессор — совсем другой зверь. NPU оптимизирован под матричные операции: нейронные сети здесь крутятся быстрее, чем на универсальном GPU.

Но только если модель меньше локальной памяти. AMD и Intel вложили в NPU всего 16 ГБ VRAM (или меньше), тогда как GPU делит основную системную память ноутбука. Этот компромисс виден в бенчмарках.

NPU в AMD Ryzen AI 300 генерировал изображение за 70 секунд, встроенный GPU того же чипа справлялся за 30. Специализированный процессор проиграл универсальному вдвое — на задаче, под которую его затачивали. Узкое место: память.

Когда модель больше, чем может вместить NPU, нейропроцессор становится узким местом сетевых артефактов вместо ускорения.

Гибридная архитектура для корпоративной ИТ

Основной сценарий, который продвигают Microsoft и партнёры: Лёгкие AI-задачи (классификация, поиск, генерация малых текстов) — на NPU локально Сложные модели (большие LLM, видео-обработка) — в облаке Данные частично остаются на устройстве, частично синхронизируются Offload-логика встроена в приложение Для корпоративной ИТ это означает новые вызовы. Раньше можно было просто выкатить облачный сервис и забыть. Теперь нужно: **Управлять моделями на устройствах.

** Каждый ноутбук получает набор ONNX или TensorFlow моделей. Версии могут расходиться. Обновления тянутся через интернет.

На 50K ноутбуков корпорации это становится логистической задачей. Контролировать память. Если модель не влезает в 16 ГБ NPU — приложение падает.

Раньше этот вопрос решал облачный инженер один раз. Теперь нужен алгоритм выбора модели на клиенте в зависимости от конфигурации. **Следить за батареей.

** NPU меньше жрёт энергию, чем GPU, но это меньший выигрыш, чем кажется на первый взгляд.

Что реально работает уже сейчас

Small LLM (типа Phi-3.5 на 3.8B параметров) помещаются на ноутбук целиком. Inference идёт на NPU за приемлемое время. Но это работает только для чтения и классификации. Генерация текста на полноценной Llama-2-7B ещё медленная. Copilot for Microsoft 365 — основной бенефициар. Поиск по документам, резюме письма, расстановка встреч — всё это работает локально. Microsoft обещает, что это улучшит конфиденциальность (данные не уходят в облако) и скорость (нет задержек сети).

Что это значит Создатели ноутбуков переиграли в нишевых рынках.

Корпоративная ИТ получила инструмент, которым нужно учиться пользоваться. Самые смелые уже готовят платформы доставки моделей. Остальные ждут, пока это упростится. В облаке никто не уходит — гибридное будущее по определению содержит обе части.