CUDA
CUDA (Compute Unified Device Architecture) é a plataforma proprietária de computação paralela e modelo de programação da NVIDIA que permite aos desenvolvedores escrever código C/C++ executado diretamente em GPUs da NVIDIA, transformando-as em processadores paralelos de propósito geral para cargas de trabalho de IA e científicas.
CUDA (Compute Unified Device Architecture) é uma plataforma de computação paralela e interface de programação de aplicativos introduzida pela NVIDIA em 2006. Ela estende o C/C++ padrão com anotações e bibliotecas de tempo de execução que permitem aos desenvolvedores escrever kernels—funções que executam em paralelo através de milhares de núcleos GPU simultaneamente—sem conhecimento de programação gráfica. CUDA transformou as GPUs da NVIDIA de aceleradores gráficos de função fixa em processadores paralelos programáveis usáveis para simulação científica, processamento de imagem, criptografia e, eventualmente, aprendizado de máquina em escala.
No modelo de programação CUDA, a CPU (host) orquestra a execução enquanto lança funções kernel que executam na GPU (device). Os kernels são organizados em uma grade de blocos de thread; cada bloco executa em um multiprocessador de streaming (SM) e compartilha memória compartilhada rápida no chip entre suas threads. O tempo de execução CUDA gerencia transferências de memória entre DRAM do host e HBM da GPU, agendamento de thread e sincronização. Bibliotecas de nível superior construídas em CUDA—cuBLAS para álgebra linear densa, cuDNN para primitivas de rede neural, cuSPARSE para operações esparsas, NCCL para comunicação coletiva multi-GPU—permitem que frameworks como PyTorch, TensorFlow e JAX chamem rotinas GPU otimizadas sem desenvolvedores escreverem kernels CUDA brutos.
CUDA importa porque é a interface de programação padrão de facto para IA acelerada por GPU. PyTorch, TensorFlow, JAX e praticamente todos os principais frameworks de IA enviam backends CUDA como seu caminho de execução GPU principal. O investimento de décadas que a comunidade de pesquisa fez em código otimizado para CUDA—incluindo kernels de atenção compatíveis com FlashAttention da NVIDIA, Triton (uma linguagem de kernel baseada em Python que compila para CUDA PTX) e cuDNN—cria custos de troca substanciais para migrar para plataformas de hardware alternativas. As ferramentas de benchmark, debug e profiling (NVIDIA Nsight, Compute Sanitizer) são todas nativas CUDA.
A partir de 2026, a dominância do CUDA no treinamento de IA permanece largamente intacta, embora enfrente pressão da plataforma ROCm da AMD, que suporta PyTorch com mudanças mínimas de código, e de APIs de computação agnósticas de fornecedor, como OpenCL, Vulkan Compute e SYCL. A NVIDIA introduziu CUDA 12.x com suporte para arquiteturas Hopper (H100) e Blackwell (B200), adicionando suporte para tensor core FP8 e primitivas de memória distribuída melhoradas. A lacuna de maturidade entre o ecossistema CUDA e seus concorrentes permanece ampla para treinamento de modelo de fronteira, embora as implantações de inferência usem cada vez mais tempos de execução de nível superior—TensorRT, vLLM, ONNX Runtime—que abstraem a programação CUDA direta.