NPUs em notebooks: novos requisitos para a TI corporativa

A nuvem está perdendo lentamente seu monopólio em computação de IA. Microsoft escreveu um processador neural nos requisitos obrigatórios para Copilot+ PC, AMD e Intel estão incorporando NPU diretamente no SoC — e o departamento de TI corporativo enfrenta uma escolha que não existia antes.

Três Processadores em Um Chip

Os SoCs modernos como AMD Ryzen AI 300 ou Intel Core Ultra contêm três mecanismos de computação: uma CPU clássica, GPU e NPU. Em teoria soa simples, mas um processador neural é uma besta completamente diferente. O NPU é otimizado para operações de matriz: redes neurais rodam mais rápido aqui do que em uma GPU universal. Mas apenas se o modelo couber na memória local.

AMD e Intel colocaram apenas 16 GB de VRAM (ou menos) no NPU, enquanto o GPU compartilha a memória principal do notebook. Este compromisso é visível nos benchmarks. O NPU em AMD Ryzen AI 300 gerou uma imagem em 70 segundos, enquanto o GPU integrado do mesmo chip conseguiu fazer isso em 30. O processador especializado perdeu para o universal pela metade — na tarefa para a qual foi projetado. O gargalo: memória. Quando o modelo é maior do que o NPU pode conter, o processador neural se torna um gargalo em vez de um acelerador.

Arquitetura Híbrida para TI Corporativa

O cenário principal promovido pela Microsoft e parceiros:

• Tarefas leves de IA (classificação, busca, geração de pequenos textos) — em NPU localmente
• Modelos complexos (grandes LLMs, processamento de vídeo) — na nuvem
• Dados permanecem parcialmente no dispositivo, parcialmente sincronizados
• A lógica de offload é integrada ao aplicativo

Para a TI corporativa, isso significa novos desafios. Antes, você podia simplesmente implantar um serviço em nuvem e esquecer. Agora você precisa:

Gerenciar modelos em dispositivos. Cada notebook recebe um conjunto de modelos ONNX ou TensorFlow. As versões podem divergir. As atualizações são puxadas pela internet. Para 50K notebooks corporativos, isso se torna um desafio logístico.

Controlar memória. Se o modelo não couber em 16 GB de NPU — o aplicativo falha. Antes, um engenheiro de nuvem resolvia isso uma vez. Agora você precisa de um algoritmo para selecionar o modelo no cliente dependendo da configuração.

Monitorar bateria. NPU consome menos energia que GPU, mas isso é um ganho menor do que parece à primeira vista.

O Que Realmente Funciona Agora

LLMs pequenas (como Phi-3.5 com 3.8B parâmetros) cabem inteiras em um notebook. A inferência é executada no NPU em tempo aceitável. Mas isso funciona apenas para leitura e classificação. A geração de texto em uma Llama-2-7B completa ainda é lenta.

Copilot for Microsoft 365 — o principal beneficiário. Pesquisa de documentos, resumos de email, agendamento de reuniões — tudo isso funciona localmente. A Microsoft promete que isso melhorará a privacidade (dados não vão para a nuvem) e a velocidade (sem atrasos de rede).

O Que Isso Significa

Os fabricantes de notebooks venceram em mercados de nicho. A TI corporativa ganhou uma ferramenta que precisa aprender a usar. Os mais ousados já estão preparando plataformas de entrega de modelos. O resto está esperando que simplifique. Ninguém está saindo da nuvem — por definição, um futuro híbrido contém ambas as partes.