NPUs em notebooks: novas exigências para a TI corporativa

A nuvem vai perdendo aos poucos o monopólio da computação de IA. A Microsoft incluiu o processador neural entre os requisitos obrigatórios dos Copilot+ PCs, e AMD e Intel embutem a NPU diretamente nos SoCs. A TI corporativa se vê diante de uma escolha que não existia antes.

Três processadores em um único chip

SoCs modernos, como o AMD Ryzen AI 300 ou o Intel Core Ultra, reúnem três unidades de processamento: uma CPU clássica, uma GPU e uma NPU. No papel parece simples, mas um processador neural é um bicho bem diferente. A NPU é otimizada para operações matriciais, e as redes neurais rodam nela mais rápido do que em uma GPU de uso geral. Mas só se o modelo for menor que a memória local.

AMD e Intel deram à NPU apenas 16 GB de VRAM (ou menos), enquanto a GPU divide a memória principal do sistema do notebook. Essa troca aparece nos benchmarks. A NPU do AMD Ryzen AI 300 gerou uma imagem em 70 segundos; a GPU integrada do mesmo chip fez o trabalho em 30. O processador especializado perdeu por metade do desempenho para o de uso geral, justamente na tarefa para a qual foi projetado.

O gargalo é a memória. Quando o modelo é maior do que a NPU consegue comportar, o processador neural vira um gargalo de artefatos de rede em vez de acelerar algo.

Arquitetura híbrida para a TI corporativa

O cenário principal defendido pela Microsoft e seus parceiros:

• Tarefas leves de IA (classificação, busca, geração de textos curtos) rodam localmente na NPU
• Modelos complexos (LLMs grandes, processamento de vídeo) rodam na nuvem
• Os dados ficam em parte no dispositivo e em parte são sincronizados
• A lógica de offload é embutida no aplicativo

Para a TI corporativa, isso traz novos desafios. Antes, bastava lançar um serviço em nuvem e esquecer. Agora é preciso:

Gerenciar modelos nos dispositivos. Cada notebook recebe um conjunto de modelos ONNX ou TensorFlow. As versões podem divergir. As atualizações vêm pela internet. Em 50K notebooks de uma corporação, isso vira um problema de logística.

Controlar a memória. Se o modelo não cabe nos 16 GB da NPU, o aplicativo trava. Antes, um engenheiro de nuvem resolvia isso uma vez. Agora é preciso um algoritmo no cliente que escolha o modelo conforme a configuração.

Cuidar da bateria. A NPU consome menos energia que a GPU, mas o ganho é menor do que parece à primeira vista.

O que realmente funciona hoje

LLMs pequenos (como o Phi-3.5, com 3.8B de parâmetros) cabem inteiros em um notebook. A inferência roda na NPU em tempo aceitável. Mas isso só funciona para leitura e classificação. A geração de texto com uma Llama-2-7B completa ainda é lenta.

O Copilot for Microsoft 365 é o principal beneficiado. Busca em documentos, resumo de e-mails e marcação de reuniões rodam localmente. A Microsoft promete que isso vai melhorar a privacidade (os dados não saem para a nuvem) e a velocidade (sem atrasos de rede).

O que isso significa

Os fabricantes de notebooks exageraram em mercados de nicho. A TI corporativa ganhou uma ferramenta que precisa aprender a usar. Os mais ousados já preparam plataformas de entrega de modelos. Os demais esperam que tudo fique mais simples. Ninguém está saindo da nuvem: o futuro híbrido, por definição, contém as duas partes.