Скотт Винер идёт в Конгресс после двух законопроектов о безопасности ИИ

Если ваш продукт поручает ИИ писать код, запускать инструменты или работать с корпоративными данными, вопрос безопасности быстро становится предметным: кто проверил систему и как остановить её при сбое? Скотт Винер хочет, чтобы разработчики передовых моделей отвечали на такие вопросы в рамках обязательных правил. После победы на выборах в Конгресс он получает площадку для продвижения этой программы на федеральном уровне.

По материалу MIT Technology Review, Винер займёт освободившееся место Нэнси Пелоси от Сан-Франциско. Для индустрии важна его история: в Калифорнии он уже продвигал два законопроекта о безопасности ИИ. Теперь стоит следить, какие из этих подходов появятся в федеральных инициативах и кого именно они затронут.

Что Винер хочет сделать обязательным

Первый из его известных проектов, SB 1047, губернатор Калифорнии Гэвин Ньюсом отклонил в 2024 году. Более мягкий SB 53 получил подпись губернатора. Поэтому говорить, что Винер просто перенесёт готовый калифорнийский режим на всю страну, было бы преждевременно: даже внутри штата первоначальный подход пришлось менять.

В интервью Винер поддержал создание сильного федерального регулятора, обязательные испытания и аудит, защиту информаторов и требование аварийной остановки. Он также хочет использовать парламентский надзор, чтобы добиваться ответов от ИИ-лабораторий. Это набор направлений для будущей работы, а не описание уже принятых федеральных требований.

Понятный пример — агент, которому разрешили менять код и запускать задачи в инфраструктуре компании. Внутренняя проверка должна показать, что происходит при ошибочной команде, какие действия доступны агенту и кто способен прекратить выполнение. Независимый аудит добавляет следующий вопрос: может ли внешняя сторона проверить эти выводы? Конкретные процедуры будут зависеть от текста будущих законов; это иллюстрация инженерной проблемы, которую поднимает такая повестка.

Самоулучшение моделей требует аккуратных формулировок

Срочность Винер объясняет риском потери контроля над ИИ. Поводом стал отчёт METR, который, по изложению издания, многие восприняли как свидетельство рекурсивного самоулучшения в Anthropic.

На простом примере: модель помогает исследователям писать код для обучения следующей модели. Если такая помощь заметно ускоряет разработку, возникает вопрос, насколько быстрее пойдёт следующий цикл. Но участие ИИ в исследованиях само по себе ещё не доказывает, что система самостоятельно и бесконтрольно повышает собственные способности. В предоставленном материале нет технических результатов, позволяющих сделать такой вывод.

Для разработчика здесь полезен конкретный вопрос: какие решения система принимает сама, а где её работу проверяет человек? Если агент предлагает изменение обучающего кода, это одна степень автономности. Если он может самостоятельно применить изменение, запустить обучение и внедрить результат, цепочка контроля устроена иначе. Политический спор о рисках не отменяет необходимости разбирать эти различия.

Что это меняет для продуктовых команд

Пока статья сообщает о намерениях избранного политика. Она не устанавливает сроки принятия правил, пороги размера моделей или обязанности обычного стартапа, который подключает чужой API. У Конгресса остаются собственные приоритеты, а принятие закона потребует гораздо больше, чем поддержки одного депутата.

Дополнительная развилка — отношения федеральных властей и штатов. Винер выступает против широкого запрета штатам вводить собственные правила об ИИ. Для бизнеса это означает, что вопрос единого режима регулирования остаётся открытым. Также нельзя заранее считать, что требования к создателям передовых моделей автоматически распространятся на всех разработчиков приложений.

Практический вывод — привести в порядок сведения о собственном продукте: какие модели он использует, какие полномочия получает агент, как команда проверяет опасные сценарии и кто останавливает систему при инциденте. Такая документация помогает обсуждать безопасность с заказчиком уже сейчас. А оценивать будущие расходы на соблюдение закона стоит после появления конкретного текста: по заявлениям Винера их пока не посчитать.