Новый доклад: глобальную паузу в обучении frontier-ИИ можно закрепить в железе

Идею паузы в обучении самых мощных моделей до сих пор обсуждали как политический жест: открытое письмо, заявление, красивая резолюция. Новый доклад, о котором сообщает TechXplore, переводит разговор в инженерную плоскость. Его вывод: глобальная и «зашитая» в инфраструктуру пауза frontier-обучения осуществима. Авторы исходят из условия «если правительства и лидеры индустрии когда-нибудь договорятся» и разбирают три вопроса: как пакт реализовать, как координировать и как отслеживать выполнение.

Одна оговорка. В доступном анонсе нет ни пороговых значений, ни списка механизмов, ни перечня авторов. Всё ниже опирается на сам тезис доклада и на уже известный контекст регулирования вычислений. Пересказом деталей это считать нельзя.

Почему упор на железо

Обучение frontier-модели физически заметно. Нужны десятки тысяч ускорителей, плотная сетевая связность, мегаватты питания и охлаждение. Производство таких чипов сосредоточено в нескольких звеньях цепочки: проектирование, литография, упаковка, фабрики. Это делает вычисления самым удобным рычагом контроля. Код копируется бесплатно, веса утекают в архивах, а дата-центр на сотни мегаватт не спрячешь.

Прецеденты уже есть. Экспортные ограничения США на передовые ускорители показали, что оборот чипов можно отслеживать и ограничивать. Закон ЕС об ИИ ввёл презумпцию системного риска для моделей, обученных более чем на 10^25 операций с плавающей точкой. Письмо Future of Life Institute в марте 2023 года собрало больше 30 тысяч подписей под призывом к шестимесячной паузе, но осталось декларацией без механизма исполнения. Новый доклад, судя по заголовку, пытается закрыть именно этот пробел.

Где пакт может сломаться

Слабых мест как минимум четыре, и каждое требует отдельного ответа.

• Определение «frontier». Порог по вычислениям устаревает: алгоритмическая эффективность растёт, и то, что вчера требовало 10^25 операций, завтра обойдётся дешевле.
• Верификация. Нужно подтверждать, что кластер не обучает запрещённую модель. Для этого нужны инспекции, телеметрия, возможно аппаратные механизмы в самих чипах.
• Стимул выйти из соглашения. Если один участок цепочки останется вне пакта, остановка превратится в фору для того, кто не остановился.
• Дообучение и inference-time compute. Пауза на предобучение не закрывает улучшения за счёт пост-обучения и вычислений на этапе вывода.

Формулировка «hardwired» в заголовке намекает на ответ: ограничения должны быть встроены в инфраструктуру, а не держаться на честном слове. Как именно, доклад должен показать в деталях. Без них неясно, о чём речь: о геолокации чипов, лимитах кластеров или международном аналоге инспекций МАГАТЭ.

Практический вывод

Для лабораторий и облачных провайдеров главный сигнал такой: разговор о регулировании сдвигается от этики моделей к учёту вычислений. Тем, кто строит кластеры, стоит заранее продумать журналирование нагрузок, отчётность по объёмам обучения и аудит цепочки поставок. Инвесторам имеет смысл смотреть на сценарии, где доступ к ускорителям и энергии становится лицензируемым ресурсом. Читателям доклада полезно проверять три вещи: как определён порог, кто и чем проверяет исполнение и что происходит с участником, который вышел из пакта. Пока на эти вопросы нет публичных ответов, пауза остаётся тезисом, а не планом.