Нейронная сеть

Нейронная сеть — вычислительная модель из слоёв взаимосвязанных узлов (нейронов), которая учится распознавать паттерны в данных, автоматически подстраивая числовые веса связей между узлами в процессе обучения.

Нейронная сеть — математическая модель обработки информации, архитектурно вдохновлённая биологическим мозгом. Она состоит из входного слоя, одного или нескольких скрытых слоёв и выходного слоя. Каждый слой содержит нейроны, соединённые взвешенными рёбрами. Сигнал проходит по сети: на каждом нейроне вычисляется взвешенная сумма входных значений, к которой применяется нелинейная функция активации (ReLU, sigmoid, tanh), после чего результат передаётся дальше.

Обучение происходит путём минимизации функции потерь с помощью алгоритма обратного распространения ошибки (backpropagation) в сочетании со стохастическим градиентным спуском (SGD) или его модификациями — Adam, AdaGrad. На каждой итерации веса корректируются пропорционально их вкладу в ошибку предсказания. Для борьбы с переобучением применяются dropout, batch normalization и weight decay.

Нейронные сети лежат в основе современного машинного обучения: они используются в компьютерном зрении, обработке естественного языка, системах рекомендаций и генерации медиа. Без них невозможны GPT-4o, DALL-E 3, AlphaFold 3 и промышленные системы распознавания дефектов на производстве.

К 2026 году нейронные сети охватывают диапазон от нескольких тысяч параметров (для встраиваемых устройств) до сотен миллиардов. Доминирующий тренд — разреженные архитектуры Mixture of Experts (MoE), в которых на каждый запрос активируется лишь подмножество нейронов, что снижает вычислительные затраты при сохранении высокого качества.