داريو أمودي والنهاية: لماذا يخاف مؤسس Claude من الذكاء الاصطناعي الخاص به

Представьте, что вы строите самый быстрый гоночный болид в мире, но при этом на каждой пресс-конференции твердите, что он, скорее всего, врежется в стену и убьет всех зрителей на трибунах. Именно так сейчас выглядит поведение Дарио Амодеи, генерального директора Anthropic. Человек, подаривший нам Claude — пожалуй, самую человечную и этичную нейросеть на рынке — внезапно перешел от осторожного оптимизма к риторике в духе пророков апокалипсиса. Его недавнее заявление о том, что создаваемая им технология может буквально растерзать человеческую цивилизацию, заставляет задуматься: мы действительно на пороге конца или это очень странная маркетинговая стратегия?

Чтобы понять масштаб драмы, нужно вспомнить, как вообще появилась Anthropic. Группа топ-менеджеров и исследователей покинула OpenAI именно потому, что считала подход Сэма Альтмана к безопасности слишком легкомысленным и коммерциализированным. Они хотели построить конституционный ИИ, который будет иметь внутренний моральный компас, зашитый в саму архитектуру модели. И вот теперь, когда их модели начинают обходить GPT-4 по многим ключевым параметрам, основатель компании говорит, что человечеству пора проснуться. Это звучит не как сухая аналитика, а как крик души человека, который заглянул за кулисы реальности и увидел там нечто пугающее.

Амодеи не первый год говорит о рисках, но градус риторики явно повысился. Когда лидер одной из трех самых влиятельных ИИ-лабораторий мира рассуждает о разрушении основ общества, это уже не фантазии гиков с форумов. Это позиция человека, который распоряжается миллиардами долларов от Google и Amazon. По его мнению, мощь моделей растет экспоненциально, и мы катастрофически не успеваем создавать механизмы контроля. Мы учим машины думать, но до сих пор не понимаем до конца, как именно они это делают, и уж тем более не знаем, как нажать на тормоз, когда процесс выйдет из-под контроля.

Тут возникает логичный вопрос: если всё так плохо, почему бы просто не перестать строить эти модели? Но в мире большого тех-бизнеса так не бывает. Если Anthropic остановится, OpenAI и Google только ускорятся. Это классическая дилемма заключенного в планетарном масштабе. Амодеи оказывается в роли современного Оппенгеймера, который прекрасно осознает разрушительную силу своего детища, но продолжает работу, надеясь, что именно его версия бомбы окажется достаточно безопасной, чтобы не взорвать мир в процессе испытаний.

Критики, конечно, видят в этом попытку регуляторного захвата. Если убедить правительства, что ИИ — это смертельно опасная игрушка, то власти введут такие жесткие правила, что новые игроки просто не смогут выйти на рынок из-за бюрократии и стоимости комплаенса. Это отличный способ зацементировать доминирование нынешних гигантов под соусом заботы о выживании вида. Однако в случае с Амодеи эта теория кажется слишком простой. Его компания тратит на исследования безопасности больше, чем кто-либо другой в индустрии, и его тревога выглядит пугающе искренней.

В конечном счете, мы наблюдаем уникальный исторический момент, когда создатели технологии становятся ее самыми яростными критиками. Амодеи ставит нас перед фактом: мы создаем силу, которую не до конца понимаем и которой не умеем управлять. Если человек, знающий Claude изнутри, боится своего детища, то нам, простым пользователям, стоит как минимум начать задавать правильные вопросы своим политикам. Сможем ли мы вовремя проснуться, или это предупреждение станет просто еще одной цитатой в учебниках истории, которые будут писать уже не люди?

Главное: Глава Anthropic подтверждает, что гонка вооружений в ИИ перешла в фазу, где безопасность приносится в жертву скорости. Сможет ли индустрия остановиться у края без катастрофы?