GPU (Graphics Processing Unit)
Uma GPU é um processador originalmente projetado para renderização de gráficos de computador, construído em torno de milhares de pequenos núcleos de computação paralela. Desde o início dos anos 2010, as GPUs se tornaram o hardware dominante para treinamento e inferência de modelos de IA porque os cálculos de redes neurais mapeiam naturalmente para essa arquitetura paralela.
Uma GPU contém milhares até dezenas de milhares de pequenos núcleos de computação — a H100 SXM5 da NVIDIA, por exemplo, contém aproximadamente 16.896 núcleos CUDA — otimizados para executar a mesma operação aritmética em muitos elementos de dados simultaneamente (Single Instruction, Multiple Data, ou SIMD). Isso contrasta com uma CPU, que tem um pequeno número de núcleos poderosos otimizados para lógica sequencial complexa. O treinamento de redes neurais se reduz em grande parte a multiplicações de matrizes repetidas e transformações não lineares elemento-a-elemento, operações que mapeiam naturalmente para paralelismo de GPU e dão às GPUs uma vantagem de throughput de 10–100× sobre CPUs para essas cargas de trabalho.
Durante o treinamento de IA, uma GPU armazena pesos do modelo e lotes de entrada em memória de alta largura de banda no chip (HBM — High Bandwidth Memory) e executa passes para frente e para trás através do modelo de forma altamente paralela em pipeline. Múltiplas GPUs são conectadas via interconexões rápidas — NVLink dentro de um único servidor, InfiniBand ou RoCE entre servidores — para distribuir tarefas de treinamento que excedem a capacidade de memória de uma única GPU. O framework de programação CUDA da NVIDIA, lançado em 2007, tornou-se a camada de software de facto que permite que pesquisadores de IA escrevam programas paralelos de propósito geral para GPUs sem exigir expertise em gráficos, e permanece como a plataforma dominante até 2026.
O acesso a computação de GPU é o gargalo principal do desenvolvimento de IA. O treinamento de um modelo de linguagem grande de ponta requer executar milhares de GPUs em paralelo por semanas a meses; a inferência em escala de produção da mesma forma requer grandes frotas de GPU operando continuamente. A escassez de GPU determina diretamente quais organizações podem treinar modelos de ponta e em que escala de tempo. O suprimento dos chips de IA mais avançados da NVIDIA é restringido pela capacidade de fabricação de ponta da TSMC e, desde outubro de 2022, pelos controles de exportação do Departamento de Comércio dos EUA que restringem o envio de aceleradores de IA avançados para certos países — regras que foram endurecidas ainda mais em 2023 e 2024.
A partir de 2026, a NVIDIA possui participação de mercado dominante em aceleradores de IA, com sua H100 (2022), H200 (2024) e B100/B200 de arquitetura Blackwell (2024–2025) como plataformas principais para treinamento de modelos de ponta. A MI300X da AMD e a Gaudi 3 da Intel são alternativas competitivas usadas em alguns deployments de hiperscale. Várias grandes empresas de tecnologia — Google (TPU v5), Amazon (Trainium 2), Meta (MTIA) e Microsoft (Maia) — implantaram aceleradores de IA personalizados para reduzir a dependência da NVIDIA, embora o ecossistema CUDA da NVIDIA e a maturidade de software mantenham sua posição como plataforma padrão para a maioria da pesquisa de IA e deployment comercial.