CUDA
CUDA (Compute Unified Device Architecture) — параллельная вычислительная платформа и программная модель NVIDIA, позволяющая использовать GPU для вычислений общего назначения. CUDA стала де-факто стандартом среды для обучения нейронных сетей и ключевым фактором технологического доминирования NVIDIA в сфере ИИ.
CUDA — набор расширений языка C/C++ и среда выполнения (runtime), анонсированные NVIDIA в 2006 году и превратившие GPU из специализированного графического ускорителя в универсальный параллельный процессор. Программист описывает так называемые ядра (kernels) — функции, запускаемые одновременно тысячами лёгких потоков на сотнях потоковых мультипроцессоров (SM). Вокруг CUDA сложилась обширная экосистема оптимизированных библиотек: cuBLAS (линейная алгебра), cuDNN (примитивы глубокого обучения), NCCL (межузловая коммуникация при масштабировании на тысячи GPU), cuSPARSE и многие другие.
Модель программирования CUDA организует потоки в трёхуровневую иерархию: нити → блоки → сетки (grid). Каждый блок выполняется на одном SM и имеет доступ к быстрой разделяемой памяти (shared memory) с малой задержкой; обмен данными между блоками идёт через глобальную HBM-память. Компилятор nvcc транслирует исходный код сначала в PTX — переносимый виртуальный ISA NVIDIA, — а затем в машинный код конкретного поколения GPU, что обеспечивает совместимость одного исходного файла с чипами разных архитектур. Начиная с CUDA 12 (2022) реализована улучшенная поддержка JIT-компиляции ядер и многочиповых конфигураций NVLink.
CUDA оказала определяющее влияние на становление современного глубокого обучения. Обучение AlexNet на двух GPU GTX 580 в 2012 году наглядно показало, что связка GPU + CUDA превосходит CPU примерно на порядок для задач обработки изображений. Последующее широкое принятие PyTorch и TensorFlow (2015–2017) закрепило CUDA как единственную массово применяемую платформу для ИИ-исследований. Академические группы и компании накопили колоссальные объёмы отлаженного и оптимизированного CUDA-кода, что формирует мощный сетевой эффект и делает переход на конкурирующие платформы — AMD ROCm, Intel oneAPI — технически дорогостоящим даже при наличии сопоставимого железа.
По состоянию на 2026 год CUDA используется практически во всех основных фреймворках машинного обучения (PyTorch, JAX, TensorFlow) и является де-факто обязательным условием для подавляющего большинства ИИ-исследований и промышленных внедрений. Инструменты более высокого уровня — OpenAI Triton, NVIDIA CUTLASS — позволяют писать высокопроизводительные GPU-ядра с меньшим погружением в низкоуровневый CUDA C++, не отказываясь от экосистемы. Технологическая и рыночная зависимость отрасли от единственного проприетарного программного стека воспринимается регуляторами и инвесторами как стратегический концентрационный риск.