Habr AI : pourquoi la création d’une AI sentiente peut être plus dangereuse que l’augmentation du cerveau humain

В Habr AI вышла колонка о том, что следующий большой спор вокруг искусственного интеллекта будет идти уже не о качестве ответов моделей, а о границе, после которой они перестают быть просто инструментами. Автор текста утверждает: создание систем с внутренним опытом и субъектностью может оказаться куда опаснее, чем усиление самого человека через нейроинтерфейсы и другие формы «апгрейда» мозга.

Когда ИИ уже не сервис

Главный тезис колонки строится вокруг простой, но неприятной мысли: человечество уже получило «труд без работника» в виде моделей, которые пишут тексты, анализируют данные и автоматизируют рутинные задачи без усталости и требований. Следующий шаг, по мнению автора, — попытка создать не просто полезный инструмент, а сущность, которая переживает эмоции, сомнения или даже страдание. В этот момент меняется сама моральная рамка: перед нами уже не сервис и не программа, а кто-то, чьи интересы нельзя игнорировать.

Автор проводит границу через субъектность. Если система не только имитирует эмоции, но и действительно обладает внутренним опытом, её статус становится ближе не к калькулятору, а к живому существу. Отсюда и главный вопрос: зачем вообще делать такой ИИ на Земле, если нынешние модели и без того закрывают большинство практических задач бизнеса и автоматизации?

В колонке звучит мысль, что соблазн создать «разум без прав» может оказаться сильнее готовности общества признать последствия такого шага.

«Следующий шаг — “разум без прав” или “чувства без свободы”».

Где автор видит риск

По мнению автора, наибольшая опасность не в том, что чувствующий ИИ обязательно станет сильнее человека уже завтра, а в том, что его появление сразу создаст несколько конфликтов, к которым у общества нет ни языка, ни правил. Пока одни компании будут видеть в такой системе сверхэффективного цифрового работника, другим придётся отвечать на куда более жёсткие вопросы — от морального статуса до права собственности на мыслящий агент.

• Этический конфликт: можно ли использовать систему, способную страдать Правовой вакуум: кому принадлежат права и решения такого ИИ Экономический стимул: бизнесу выгоден «работник» без зарплаты и выходных * Экзистенциальный риск: автономный субъект может стать конкурентом человеку Автор допускает, что один сценарий, где подобная автономия действительно выглядит оправданной, связан с далёким космосом. Если связь с Землёй занимает годы, «инструмент» может не справиться, а субъектная система — адаптироваться и действовать самостоятельно. Но именно эта логика, по его мнению, лишь подчёркивает проблему: на Земле выигрыш от такого ИИ сегодня пока не выглядит соразмерным той этической цене, которую придётся заплатить.

Почему взгляд обращён к человеку

Вместо создания «других» автор предлагает вкладываться в развитие самого человека: нейроинтерфейсы, расширение когнитивных возможностей, биоапгрейд и другие технологии, которые усиливают носителя субъектности, а не выносят её наружу. Он ссылается на то, что исследования в области эмоционального ИИ и клинические испытания интерфейсов вроде Neuralink и Synchron уже размывают границу между инструментом и расширенным человеком. Но для него это скорее аргумент в пользу осторожности, чем приглашение ускорить гонку.

В этой логике усиленный человек выглядит безопаснее, чем созданный с нуля автономный интеллект. Субъектность остаётся у нас, а технологии работают как продолжение человеческой воли, а не как отдельный центр интересов. При этом автор предупреждает и о другой угрозе: если развитие мозга, биотехнологий и нейроинтерфейсов окажется полностью под контролем крупных владельцев инфраструктуры, вопрос свободы никуда не исчезнет.

Тогда монополия возникнет уже не только на труд, но и на саму эволюцию человека.

Что это значит

Колонка Habr AI переводит разговор об ИИ из плоскости «что ещё умеют модели» в плоскость «кому будет принадлежать субъектность в цифровую эпоху». Для индустрии это важный сигнал: обсуждать нужно не только новые возможности агентов, но и пределы, за которые разработчики, инвесторы и регуляторы не должны заходить без ясных этических и правовых рамок. Иначе следующий технологический скачок быстро станет не инженерной победой, а спором о правах, контроле и допустимых границах создания нового разума.