El Transformer ya no es necesario: el ex vicepresidente de OpenAI construye un nuevo imperio por mil millones

Кажется, в коридорах OpenAI становится всё просторнее. Исход ключевых сотрудников из компании Сэма Альтмана превратился из досадной утечки кадров в полноценное формирование новой индустрии. На этот раз новостные ленты всколыхнул бывший вице-президент по исследованиям (VP of Research), который не просто ушёл «в никуда», а объявил о создании стартапа с амбициями на миллиард долларов.

И его главная цель звучит почти святотатственно для современного ИИ-сообщества: он собирается бросить вызов архитектуре Transformer (Transformer), которая является фундаментом всего, что мы называем современным искусственным интеллектом. Давайте будем честны: Transformer, подаренный миру исследователями Google в 2017 году, стал золотым стандартом. Все эти GPT, Claude и Gemini — по сути, лишь вариации одной и той же идеи.

Но у этой архитектуры есть фундаментальные проблемы с масштабированием памяти и вычислительной эффективностью. Чем длиннее контекст, тем тяжелее нейросети «дышать». Бывшие лидеры OpenAI, стоявшие у истоков обучения самых мощных моделей, прекрасно понимают, что бесконечно наращивать количество видеокарт — это путь в тупик.

Чтобы достичь настоящего общего искусственного интеллекта, нужно нечто более изящное и эффективное, чем то топорное «внимание», на котором держится нынешний техстек. Сумма в 1 миллиард долларов, которую планирует привлечь новый проект, — это не просто красивая цифра для заголовков. Это цена входного билета в высшую лигу.

В мире, где обучение одной модели стоит сотни миллионов, попытка создать альтернативную архитектуру требует колоссальных ресурсов на эксперименты с «железом» и данными. Мы уже видели попытки внедрить State Space Models (SSM) или архитектуры типа Mamba, но пока ни одна из них не смогла свергнуть короля. Тот факт, что за дело берется человек, отвечавший за «пост-тренировку» в OpenAI, говорит о том, что у него есть конкретное понимание, где именно старая архитектура начинает ломаться.

Этот уход — часть более широкого тренда. Мы наблюдаем, как «мафия OpenAI» расползается по Кремниевой долине, создавая конкуренцию, о которой Microsoft и Google могли только мечтать. Anthropic был первым звоночком, SSI (Safe Superintelligence) Ильи Суцкевера — вторым.

Теперь мы видим третью волну: тех, кто хочет изменить не просто методы обучения или вопросы безопасности, а саму математическую основу нейросетей. Если этот стартап сможет доказать, что его подход работает лучше на длинных дистанциях, OpenAI окажется в положении компании, которая вложила миллиарды в совершенствование парового двигателя в момент появления двигателя внутреннего сгорания. Инвесторы, похоже, готовы рискнуть.

В долине сейчас царит странная смесь эйфории и страха упустить «следующую большую вещь». Все понимают, что нынешний успех LLM может быть локальным максимумом. И пока Сэм Альтман занят превращением OpenAI в коммерческую корпорацию и поиском триллионов на чипы, его бывшие инженеры пытаются переизобрести само колесо.

Это классическая история Давида и Голиафа, только у Давида в кармане миллиард долларов венчурного капитала и лучший опыт работы в индустрии. Что это значит для нас? Скорее всего, мы стоим на пороге смены парадигмы.

Если новая архитектура окажется эффективнее, ИИ станет не только умнее, но и дешевле, доступнее и, возможно, автономнее. Нам пора привыкать к мысли, что аббревиатура GPT может стать таким же архаизмом, как Netscape или AltaVista. В мире ИИ полгода — это эпоха, а год — вечность.

И эта вечность, кажется, будет принадлежать тем, кто осмелился нажать кнопку «delete» на коде Transformer. Главное: Сможет ли новая архитектура масштабироваться так же предсказуемо, как Transformer, или мы увидим очередной «пузырь» амбиций, который лопнет о суровую реальность распределенных вычислений?