Scaling Law на автопилоте: AI начал учить людей строить нейросети

Представьте, что вы строите небоскреб, но не знаете точно, выдержит ли фундамент еще десять этажей. В мире больших языковых моделей всё работает примерно так же. Инженеры тратят сотни миллионов долларов на обучение, надеясь, что добавление еще пары тысяч видеокарт сделает модель умнее, а не просто дороже.

Эти негласные правила игры называются законами масштабирования (Scaling Laws), и до сих пор их поиск напоминал современную алхимию. Но, кажется, эпоха гадания на кофейной гуще заканчивается, потому что исследователи из Пекинского университета и Стэнфорда решили передать эту скучную и дорогую работу самой нейросети. Проблема в том, что поиск этих законов — процесс мучительный и запредельно дорогой.

Вспомните знаменитую работу DeepMind про «модель-шиншиллу» (Chinchilla scaling laws). Тогда исследователям пришлось обучить десятки маленьких моделей, собрать данные об их производительности и попытаться вывести формулу, которая предскажет поведение «большого брата». Ошибка в расчетах на этом этапе стоит не просто времени, она стоит состояния.

Новый проект, получивший рабочее название «AI Scientist», кардинально меняет правила игры. Вместо того чтобы заставлять людей вручную подбирать коэффициенты и строить графики, ученые создали систему, которая сама анализирует результаты пробных запусков и формулирует математические зависимости. Самое ироничное здесь то, что этот виртуальный ученый справился с задачей лучше, чем живые эксперты.

В ходе тестов система предсказывала точность моделей с погрешностью, которая оказалась значительно ниже, чем у опытных дата-сайентистов. Это не просто вопрос скорости или удобства. Мы привыкли думать, что научный поиск и интуиция — это последние бастионы человечества, но выяснилось, что в поиске скрытых закономерностей внутри огромных массивов данных наш мозг слишком склонен к упрощениям.

AI не ищет «красивые» числа или простые линейные графики, он находит те зависимости, которые реально работают в многомерном пространстве параметров. Почему это важно именно сейчас? Мы подошли к черте, где простое добавление вычислительной мощности перестает давать взрывной рост качества.

Индустрия всё чаще шепчется о «плато», и чтобы двигаться дальше, нужны не просто терафлопсы, а ювелирная точность в архитектуре. Если раньше OpenAI или Google могли позволить себе жечь электричество целыми городами ради эксперимента, то теперь инвесторы требуют эффективности. Автоматизация поиска Scaling Laws — это, по сути, создание навигатора для тех, кто раньше шел по приборам в густом тумане.

Теперь мы можем заранее знать, стоит ли скармливать модели еще триллион токенов или она уже достигла своего предела. Что это значит для будущего индустрии? Скорее всего, мы увидим резкое ускорение циклов разработки.

Если раньше на проверку фундаментальной гипотезы уходили месяцы, то теперь автоматизированная система может прогнать тысячи сценариев за считанные часы. Это приближает нас к моменту, когда нейросети начнут проектировать следующие поколения самих себя практически без участия человека. Мы всё еще держим руку на рубильнике, но чертежи уже рисует кто-то другой.

И этот «кто-то» явно понимает в математике обучения больше нашего. Главное: AI окончательно перестал быть просто «умным чат-ботом» и превратился в инструмент для фундаментальных научных открытий. Если нейросети научились оптимизировать собственное обучение лучше создателей, то вопрос о появлении полноценного AGI становится лишь вопросом времени и правильной формулы, которую, вероятно, тоже найдет не человек.