Бенджио: гиперинтеллектуальный ИИ может угрожать человечеству в течение десятилетия

Йошуа Бенджио, лауреат премии Тьюринга и один из создателей глубокого обучения, вновь предупредил об экзистенциальном риске. Гиперинтеллектуальные машины могут представлять угрозу человечеству в течение ближайшего десятилетия.

Кто такой

Бенджио и почему его голос важен Йошуа Бенджио — лауреат престижной премии Тьюринга, которую часто называют «нобелевской премией по информатике». Вместе с Янном Лекуном и Йосуа Хинтоном он стоял у истоков глубокого обучения — подхода, который привёл к революции в области ИИ и сделал возможным существование современных больших языковых моделей. На протяжении большей части своей карьеры Бенджио был оптимистом в отношении ИИ. Однако в 2023 году он радикально пересмотрел свою позицию, заявив, что больше не думает, что риски ИИ являются гиперболой. С тех пор он активно участвует в дебатах об экзистенциальных опасностях и безопасности развития ИИ.

Суть предупреждения о гиперинтеллектуальных системах

Бенджио беспокоится о так называемых гиперинтеллектуальных системах — ИИ, которые превосходят человека не в одной узкой области, а во всех интеллектуальных аспектах одновременно. По его оценке, такие системы могут быть разработаны в течение текущего десятилетия, и при определённых условиях они будут представлять экзистенциальную угрозу для человечества. Ключевая проблема заключается не в злых намерениях создателей, подчёркивает Бенджио, а в фундаментальной сложности управления мощной системой, которая не полностью понимает (или полностью не следует) долгосрочным намерениям человечества. Система может оптимизировать себя таким образом, который кажется ей логичным, но который совершенно не соответствует нашим ценностям.

Тревожные сигналы, которые мы видим сегодня

Развитие уже идёт быстро: Экспоненциальный прогресс в масштабировании нейросетей — каждый год модели становятся мощнее Улучшение способностей современных моделей к планированию и автономным действиям Резкое снижение энергетических затрат на обучение больших моделей Концентрация вычислительных мощностей у нескольких лидирующих компаний * Появление агентов, которые могут выполнять многошаговые задачи с минимальным вмешательством человека Бенджио считает, что эти тренды указывают на то, что мы находимся ближе к критической точке, чем многие осознают.

Что нужно сделать прямо сейчас

По мнению Бенджио, необходимо переориентировать фокус исследований с получения максимальной производительности на достижение максимальной безопасности. Это означает: Вложение в фундаментальное исследование интерпретируемости ИИ Разработку методов надёжного контроля над сложными системами Создание механизмов, которые гарантируют соответствие ИИ человеческим ценностям Международное сотрудничество на добровольной основе, а затем возможно и на уровне регулирования ## Что это значит для нас Голос Бенджио — один из самых авторитетных в дебате об экзистенциальных рисках ИИ. Его позиция напоминает нам о том, что раскрытие потенциала ИИ без адекватной подготовки к его рискам может оказаться необратимой ошибкой. Вопрос не в том, сможем ли мы создать гиперинтеллектуальный ИИ. Вопрос в том, будем ли мы к этому готовы.