الشهادة الجامعية بعيداً: كيف يقود 'الطريق البري' إلى OpenAI و Anthropic
Эпоха PhD в индустрии ИИ официально закончилась. В OpenAI и DeepMind все чаще нанимают инженеров-самоучек, идущих по «дикому пути». Вместо стопки научных статей
Забудьте всё, что вам рассказывали о необходимости степени PhD для работы в высшей лиге искусственного интеллекта. Если раньше пропуском в закрытый клуб OpenAI или DeepMind была пачка публикаций на топовых конференциях вроде NeurIPS, то сегодня правила игры изменились настолько, что вчерашние академики всё чаще уступают места тем, кого в Китае называют «елуцзы». Этот термин означает «дикий путь» или путь самоучки, и именно такие люди сейчас становятся костяком команд, создающих модели следующего поколения.
Долгое время считалось, что вход в индустрию ИИ защищён непреодозимой стеной из академических регалий. Вы должны были годами изучать высшую математику, писать статьи и ждать рецензий, чтобы просто получить шанс на собеседование. Но вот парадокс: самые громкие успехи последних лет — это не победа чистой теории, а триумф масштабирования (Scaling Laws).
Оказалось, что для создания GPT-4 нужно не столько изобрести новый вид нейрона, сколько обладать феноменальными навыками в области инфраструктуры, подготовки данных и оптимизации вычислений. Это работа для хакеров и инженеров, а не для теоретиков. Компании вроде OpenAI осознали это раньше других.
В их штате всё чаще мелькают люди, которые бросили университет или вовсе в него не поступали, зато годами копались в открытом коде и участвовали в соревнованиях на Kaggle. Эти специалисты по «дикому пути» обладают качеством, которого часто не хватает выпускникам Стэнфорда — они умеют заставлять код работать в условиях ограниченных ресурсов. В эпоху, когда стоимость обучения модели измеряется сотнями миллионов долларов, любая ошибка инженера обходится слишком дорого.
Здесь ценятся те, кто понимает, как «железо» взаимодействует с софтом на самом глубоком уровне. Смена парадигмы произошла из-за того, что ИИ превратился из научной дисциплины в промышленную отрасль. Когда-то авиация тоже была уделом учёных-одиночек, но сегодня самолёты строят огромные заводы.
В ИИ наступила фаза «заводов». Чтобы обучить модель уровня Claude 3, вам не нужно переписывать архитектуру трансформера. Вам нужно уметь распределить нагрузку на тысячи графических процессоров так, чтобы они не простаивали ни секунды.
Именно поэтому инженеры-инфраструктурщики и специалисты по данным стали новыми рок-звездами, а их зарплаты сравнялись с доходами ведущих исследователей. Кроме того, изменился сам формат разработки. OpenAI и их конкуренты становятся всё более закрытыми.
Они больше не публикуют детальные статьи о своих методах, опасаясь конкуренции. В этой атмосфере секретности академический навык написания красивых отчетов в LaTeX становится бесполезным. Важнее становится внутренняя «кухня»: как именно вы чистите данные от шума и какие трюки используете при обучении с подкреплением (RLHF).
Этим знаниям не учат в университетах, их можно получить только в бою, работая над реальными проектами. Что это значит для будущего? Мы наблюдаем демократизацию талантов при одновременной монополизации ресурсов.
Порог входа в плане знаний снижается: вам больше не нужно тратить семь лет на докторскую диссертацию. Однако требования к практическим навыкам растут по экспоненте. Если вы можете показать работающий проект, который решает конкретную проблему оптимизации или обработки данных, ваш GitHub будет значить для рекрутера из Кремниевой долины больше, чем любой диплом.
Главное: эпоха теоретиков в ИИ сменяется эпохой строителей. Смогут ли университеты адаптироваться к миру, где практика опережает теорию на несколько лет?