NPU en portátiles: nuevas exigencias para la TI corporativa

La nube pierde poco a poco el monopolio de la computación para IA. Microsoft ha incluido el procesador neuronal entre los requisitos obligatorios de los Copilot+ PC, y AMD e Intel integran la NPU directamente en sus SoC. La TI corporativa se encuentra así ante una decisión que antes no existía.

Tres procesadores en un mismo chip

Los SoC actuales, como el AMD Ryzen AI 300 o el Intel Core Ultra, contienen tres unidades de cálculo: una CPU clásica, una GPU y una NPU. Sobre el papel suena sencillo, pero un procesador neuronal es una bestia muy distinta. La NPU está optimizada para operaciones matriciales, de modo que las redes neuronales corren en ella más rápido que en una GPU de propósito general. Pero solo si el modelo es menor que su memoria local.

AMD e Intel dotaron a la NPU de apenas 16 GB de VRAM (o menos), mientras que la GPU comparte la memoria principal del sistema del portátil. Este compromiso se aprecia en los benchmarks. La NPU del AMD Ryzen AI 300 generó una imagen en 70 segundos; la GPU integrada del mismo chip lo logró en 30. El procesador especializado perdió por el doble frente al de propósito general, justo en la tarea para la que fue diseñado.

El cuello de botella es la memoria. Cuando el modelo es más grande de lo que cabe en la NPU, el procesador neuronal se convierte en un cuello de botella de artefactos de red en lugar de acelerar nada.

Arquitectura híbrida para la TI corporativa

El escenario principal que promueven Microsoft y sus socios:

• Las tareas ligeras de IA (clasificación, búsqueda, generación de textos breves) se ejecutan localmente en la NPU
• Los modelos complejos (LLM grandes, procesamiento de vídeo) van a la nube
• Los datos se quedan en parte en el dispositivo y en parte se sincronizan
• La lógica de offload está integrada en la aplicación

Para la TI corporativa, esto supone nuevos retos. Antes se podía desplegar un servicio en la nube y olvidarse. Ahora hay que:

Gestionar modelos en los dispositivos. Cada portátil recibe un conjunto de modelos ONNX o TensorFlow. Las versiones pueden divergir. Las actualizaciones se descargan por internet. En 50K portátiles de una corporación, esto se vuelve un problema logístico.

Controlar la memoria. Si el modelo no cabe en los 16 GB de la NPU, la aplicación se cae. Antes, un ingeniero de la nube resolvía esto una sola vez. Ahora hace falta un algoritmo en el cliente que elija el modelo según la configuración.

Vigilar la batería. La NPU consume menos energía que la GPU, pero la ventaja es menor de lo que parece a primera vista.

Qué funciona de verdad hoy

Los LLM pequeños (como Phi-3.5, con 3.8B de parámetros) caben enteros en un portátil. La inferencia se ejecuta en la NPU en un tiempo aceptable. Pero esto solo vale para lectura y clasificación. La generación de texto con una Llama-2-7B completa sigue siendo lenta.

Copilot for Microsoft 365 es el principal beneficiado. La búsqueda en documentos, los resúmenes de correos y la programación de reuniones funcionan en local. Microsoft promete que esto mejorará la privacidad (los datos no salen a la nube) y la velocidad (sin retrasos de red).

Qué significa todo esto

Los fabricantes de portátiles se han pasado de rosca en mercados de nicho. La TI corporativa ha recibido una herramienta que debe aprender a usar. Los más audaces ya preparan plataformas de distribución de modelos. El resto espera a que se simplifique. Nadie abandona la nube: el futuro híbrido, por definición, contiene ambas partes.