NPUs en portátiles: nuevos requisitos para la TI corporativa

La nube está perdiendo lentamente su monopolio en la computación de IA. Microsoft ha escrito un procesador neural en los requisitos obligatorios para Copilot+ PC, AMD e Intel están incrustando NPU directamente en SoC — y la TI corporativa se enfrenta a una opción que no existía antes.

Tres Procesadores en Un Chip

Los SoCs modernos como AMD Ryzen AI 300 o Intel Core Ultra contienen tres motores de cálculo: una CPU clásica, GPU y NPU. En teoría suena simple, pero un procesador neural es una bestia completamente diferente. El NPU está optimizado para operaciones de matriz: las redes neurales se ejecutan más rápido aquí que en una GPU universal. Pero solo si el modelo cabe en la memoria local.

AMD e Intel pusieron solo 16 GB de VRAM (o menos) en el NPU, mientras que el GPU comparte la memoria principal del portátil. Este compromiso es visible en los benchmarks. El NPU en AMD Ryzen AI 300 generó una imagen en 70 segundos, mientras que el GPU integrado del mismo chip lo hizo en 30. El procesador especializado perdió ante el universal a la mitad — en la tarea para la que fue diseñado. El cuello de botella: memoria. Cuando el modelo es más grande de lo que el NPU puede contener, el procesador neural se convierte en un cuello de botella en lugar de un acelerador.

Arquitectura Híbrida para TI Corporativa

El escenario principal promovido por Microsoft y socios:

• Tareas ligeras de IA (clasificación, búsqueda, generación de pequeños textos) — en NPU localmente
• Modelos complejos (grandes LLMs, procesamiento de vídeo) — en la nube
• Los datos permanecen parcialmente en el dispositivo, parcialmente sincronizados
• La lógica de descarga está integrada en la aplicación

Para la TI corporativa, esto significa nuevos desafíos. Antes, podías simplemente implementar un servicio en nuvem y olvidarte. Ahora necesitas:

Gestionar modelos en dispositivos. Cada portátil recibe un conjunto de modelos ONNX o TensorFlow. Las versiones pueden divergir. Las actualizaciones se descargan por Internet. Para 50K portátiles corporativos, esto se convierte en un desafío logístico.

Controlar la memoria. Si el modelo no cabe en 16 GB de NPU — la aplicación falla. Antes, un ingeniero en la nube lo resolvía una vez. Ahora necesitas un algoritmo para seleccionar el modelo en el cliente dependiendo de la configuración.

Monitorear la batería. NPU consume menos energía que GPU, pero esto es una ganancia menor de lo que parece a primera vista.

Lo Que Realmente Funciona Ahora Mismo

Los LLMs pequeños (como Phi-3.5 con 3.8B parámetros) caben completamente en un portátil. La inferencia se ejecuta en el NPU en tiempo aceptable. Pero esto solo funciona para lectura y clasificación. La generación de texto en una Llama-2-7B completa aún es lenta.

Copilot for Microsoft 365 — el principal beneficiario. Búsqueda de documentos, resúmenes de correo electrónico, programación de reuniones — todo funciona localmente. Microsoft promete que esto mejorará la privacidad (los datos no van a la nube) y la velocidad (sin retrasos de red).

Lo Que Esto Significa

Los fabricantes de portátiles han ganado en mercados de nicho. La TI corporativa ha adquirido una herramienta que necesita aprender a usar. Los más atrevidos ya están preparando plataformas de entrega de modelos. El resto está esperando a que se simplifique. Nadie se va de la nube — por definición, un futuro híbrido contiene ambas partes.