Why the brain is hundreds of millions of times more efficient than GPT-4 and where neuromorphic chips are heading

Сравнение человеческого мозга и современных LLM показывает неудобный для AI-индустрии факт: даже самые мощные модели остаются крайне прожорливыми по энергии. Мозг работает примерно на 20 ваттах, тогда как крупные языковые модели во время инференса могут требовать киловатты, а на этапе обучения — мегаватты мощности. Если смотреть не на маркетинговые бенчмарки, а на стоимость одного мыслительного акта, разница оказывается колоссальной: биология по-прежнему делает ту же работу на порядки дешевле кремния.

В статье сравнение начинается с базовых чисел. У мозга оценивают около 10 в 16 степени синаптических операций в секунду при энергопотреблении порядка 20 ватт. Для современных LLM сопоставимый вычислительный масштаб достигается за счет GPU и TPU, но цена каждой операции намного выше.

На уровне энергии на одно действие речь идет об аттоджоулях у мозга против пикоджоулей и выше у цифровых ускорителей. Автор приводит и более наглядный пример: чтобы ответить на простой вопрос вроде разницы между метаном и этаном, мозг активирует лишь небольшую долю нейронов и тратит примерно десятые доли джоуля, тогда как GPT-4 должен загрузить огромный массив параметров и выполнить гигантский объем матричных операций. В такой постановке разрыв может доходить до сотен миллионов раз.

Причина не в том, что у инженеров просто плохое железо, а в самих принципах вычислений. Мозг работает аналогово: нейроны и синапсы оперируют непрерывными градиентами, мембранными потенциалами и ионными токами. Один биологический элемент одновременно хранит состояние и участвует в вычислении.

У LLM все иначе: данные представлены битами, вычисления отделены от памяти, а каждая матричная операция распадается на длинную цепочку цифровых переключений. Второе преимущество мозга — рекуррентность и временная динамика. Один и тот же нейрон многократно включается в обработку сигнала, а время становится частью вычисления.

Трансформер, наоборот, прокачивает каждый токен через фиксированный набор слоев и расплачивается за это огромным числом параллельных операций. Третье отличие — разреженность. В мозге одновременно активна лишь малая доля нейронов, поэтому система не тратит энергию на тотальное включение всей сети.

У LLM при каждом шаге задействуются огромные массивы весов, даже если задача относительно проста. Четвертый фактор — локальное обучение. Биологическая система меняет конкретные синапсы там, где возник новый опыт, а не прогоняет глобальное обратное распространение ошибки через гигантскую сеть.

Пятый — физика самого субстрата: ионные каналы и биохимические процессы работают почти у предела термодинамического минимума, тогда как даже передовые транзисторы переключаются с куда большими потерями. Наконец, мозг получает часть структуры бесплатно: зрительная кора, гиппокамп, мозжечок и другие специализированные блоки достались ему как результат эволюции, а LLM вынуждены выучивать структуру мира заново через массивы данных и очень дорогую тренировку. Из этого не следует, что у больших моделей нет будущего.

Скорее вывод в том, что нынешняя архитектура трансформеров уперлась в энергетическую цену собственного удобства. Индустрия уже ищет обходные пути: квантование до 4–8 бит, разреженные трансформеры, смеси экспертов, жидкие и спайковые сети. Некоторые подходы уже дают выигрыш в 5–10 раз, но этого недостаточно, чтобы приблизиться к биологическому уровню.

Поэтому все больше внимания смещается к нейроморфному железу. Такие системы уже существуют: SpiNNaker2 разворачивают как специализированный суперкомпьютер и даже дают арендовать через облако, BrainChip Akida ориентируется на edge AI, SynSense Xylo и Innatera Pulsar нацелены на микроваттные и сенсорные сценарии. При этом даже лучшие из этих решений пока не дотягивают до мозга примерно на три порядка по энергоэффективности и требуют совершенно другого программного стека.

Практический горизонт тоже выглядит трезво. В 2026–2028 годах нейроморфные чипы вероятнее всего будут расти в робототехнике, промышленных контроллерах, датчиках и автономных системах, где критичны задержка и энергопотребление. Потребительская электроника вроде смартфонов и часов, если и получит такие сопроцессоры, то ближе к 2030 году и позже.

Главный тормоз здесь не только производство чипов, но и софт: привычные инструменты вроде PyTorch и TensorFlow не работают со спайковыми сетями без серьезной адаптации, а универсального стандарта обучения для таких систем пока нет. Главный вывод простой: мозг сегодня не просто умнее в отдельных задачах, а радикально экономнее как вычислительная машина. Поэтому следующий большой скачок в AI, вероятно, придет не от еще более крупной LLM на еще большем кластере GPU, а от смены базовой вычислительной парадигмы.

Пока же GPT-4 и его наследники остаются очень мощным, но энергетически дорогим способом получать интеллектоподобное поведение.