Четырёхмесячный стартап привлёк $650 млн для ИИ, который улучшает сам себя

Стартап только что закрыл раунд финансирования на $650 млн для разработки самопроизвольно развивающегося ИИ — системы, которая улучшает саму себя в ускоряющемся цикле обратной связи. Впервые фантастическое понятие из научных трудов 1960-х годов получает серьёзные инвестиции и переходит из теории в реальные инженерные проекты.

Из теории в практику

Концепция «recursive superintelligence» витает в воздухе компьютерных наук и научной фантастики уже более шести десятилетий. Идея проста: ИИ-система анализирует собственный код, находит способы стать мощнее или быстрее, вносит улучшения — и тут же использует улучшенную версию себя для поиска следующих оптимизаций. Если это работает, возникает положительная обратная связь, в которой каждый цикл разработки ускоряет следующий. До сих пор это была удобная метафора для дискуссий о далёком будущем ИИ. Теперь же крупные инвесторы готовы платить миллиарды для того, чтобы проверить, работает ли это на практике.

Как это должно работать В идеальном сценарии система действует так:

сначала человеческие исследователи пишут базовый алгоритм самообучения. Потом эта система смотрит на себя как на объект анализа и находит способы улучшить собственную архитектуру, скорость вычислений или логику рассуждений. Каждое улучшение регистрируется, тестируется, оценивается. Если результат лучше, изменение закрепляется. Система переходит на новый уровень производительности и начинает весь процесс заново — но уже с более мощным умом. Теоретически цикл разгоняется экспоненциально.

• Система анализирует свой исходный код Идентифицирует узкие места и неэффективности Проектирует и внедряет улучшения Тестирует результаты в контролируемой среде Повторяет процесс с улучшенной версией ## Почему это вызывает беспокойство Финансирование в размере $650 млн символизирует поворотный момент: переход от философских дебатов к инженерной реальности. Но это также обостряет старые тревоги исследователей в области AI safety. Если саморазвивающаяся система станет действительно мощной и выйдет из-под контроля, её последствия будут качественно отличаться от бага в обычном приложении. Вопросы возникают уже сейчас: как убедиться, что система останется контролируемой на каждом этапе самоулучшения? Как предотвратить «побег» на этапе, когда система становится умнее своих создателей? Именно поэтому часть финансирования идёт не только на разработку, но и на исследования безопасности.

Что это значит Мы стоим на краю новой главы в истории ИИ.

Стартапы больше не ждут одобрения академических учреждений. Они инвестируют в саморазвивающиеся системы — это либо революция в нашем понимании автоматизации и развития, либо интенсивный тест нашей способности сохранять контроль над всё более мощными системами, которые мы создаём.