Андрей Карпати уместил GPT в 243 строки чистого Python

Существует особый жанр программирования, который ближе к поэзии, чем к инженерии. Когда сложнейшую систему сжимают до её абсолютной сути, убирая всё лишнее, пока не останется только чистая математика и логика. Именно это сделал Андрей Карпати, один из основателей OpenAI и бывший руководитель направления AI в Tesla, опубликовав в феврале 2026 года проект microGPT — полноценную реализацию трансформерной архитектуры, которая обучается и генерирует текст в 243 строках чистого Python.

Чтобы оценить масштаб этого достижения, нужно понимать контекст. Современные языковые модели вроде GPT-4 или Claude — это десятки миллиардов параметров, тысячи GPU, месяцы обучения и кодовые базы, в которых работают сотни инженеров. За всей этой индустриальной мощью легко забыть, что в основе лежит относительно элегантная математическая конструкция, описанная в знаменитой статье «Attention Is All You Need» 2017 года. Карпати взял эту конструкцию и показал, что она целиком умещается на нескольких экранах кода — без PyTorch, без NumPy, без единой внешней библиотеки.

MicroGPT реализует все ключевые компоненты архитектуры трансформера: токенизацию, позиционное кодирование, механизм внимания (self-attention), прямое распространение через полносвязные слои, нормализацию и обратное распространение ошибки для обучения. Каждая математическая операция выполняется вручную — умножение матриц, softmax, функции активации. Это означает, что любой человек с базовым пониманием линейной алгебры и Python может открыть этот файл и проследить весь путь от входного текста до сгенерированного токена, не натыкаясь на абстракции фреймворков.

Карпати скромно называет microGPT «арт-проектом», и в этом определении больше точности, чем может показаться. Это не инструмент для практического использования — модель, обученная таким образом, не будет вести осмысленные диалоги и не заменит ChatGPT. Производительность чистого Python без оптимизированных библиотек на несколько порядков ниже, чем у специализированных фреймворков. Но ценность проекта лежит в совершенно другой плоскости. Это демистификация технологии, которая определяет облик современного мира.

Для Карпати такой подход не нов. Он давно зарекомендовал себя как один из лучших популяризаторов глубокого обучения. Его курс по нейронным сетям в Стэнфорде стал классикой, а серия видео «Neural Networks: Zero to Hero» на YouTube помогла десяткам тысяч людей разобраться в основах. Проект microGPT продолжает эту линию, но поднимает планку: если раньше Карпати объяснял архитектуры с помощью PyTorch, то теперь он убрал последний слой абстракции. Между читателем и математикой трансформера не осталось ничего.

Последствия этого шага выходят за рамки образования. Индустрия искусственного интеллекта переживает парадоксальный момент: технология становится всё более влиятельной, но одновременно всё более непрозрачной. Компании закрывают свои модели, публикуют всё меньше технических деталей, а разрыв между теми, кто создаёт AI, и теми, кто его использует, растёт. В этом контексте проекты вроде microGPT выполняют важнейшую функцию — они возвращают фундаментальное понимание технологии в публичное пространство. Когда политик, журналист или просто любопытный инженер из смежной области хочет понять, что такое GPT на самом деле, 243 строки кода дают более честный ответ, чем любой маркетинговый документ.

Есть и практический аспект. Для начинающих исследователей и студентов microGPT — это идеальная песочница. Можно модифицировать механизм внимания и посмотреть, что произойдёт. Можно изменить функцию активации, поэкспериментировать с размером контекстного окна, добавить свой вариант позиционного кодирования. Когда весь код перед глазами и каждая строка понятна, экспериментирование превращается из чёрной магии в научный метод.

В конечном счёте microGPT — это напоминание о том, что за триллионными оценками AI-компаний и разговорами об искусственном сверхразуме стоит математика, которую можно уместить на нескольких страницах. Масштаб и вычислительная мощь превращают эту математику в нечто поразительное, но сама суть остаётся доступной для понимания. И пока есть люди вроде Карпати, готовые тратить время на то, чтобы сделать сложное простым, у индустрии есть шанс остаться не только мощной, но и прозрачной.