Эмили Бендер спустя 5 лет объяснила, что на самом деле значит термин Stochastic Parrots

В марте 2021 года четыре лингвиста и специалиста по искусственному интеллекту опубликовали статью «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?», которая ввела в оборот метафору «стохастического попугая» — системы, статистически предсказывающей слова без понимания смысла; спустя пять лет ведущий автор статьи, профессор компьютерной лингвистики Университета Вашингтона Эмили Бендер, опубликовала пост с разбором главных заблуждений о термине и рассказала об этом в интервью IEEE Spectrum.

Почему статья наделала шума

Внимание к статье подогрел скандал: незадолго до публикации Google уволил двух её соавторов — исследовательниц Тимнит Гебру и Маргарет Митчелл. Работа утверждала, что большие языковые модели генерируют текст, статистически предсказывая вероятные последовательности слов, а не осмысливая сказанное — отсюда и метафора «попугая», повторяющего паттерны без понимания.

• Статья опубликована в марте 2021 года, у неё четыре автора.
• Google уволил соавторов Тимнит Гебру и Маргарет Митчелл незадолго до выхода публикации.
• За пять лет метафора вышла далеко за пределы академии и вдохновила проекты вроде носимого на плече робота «Stochastic Parrot», созданного в MIT Media Lab.
• К пятилетию статьи Бендер написала пост «Stochastic Parrots: Frequently Unasked Questions», чтобы развеять заблуждения о термине.

Как метафора вышла за пределы академии

Изначально «стохастический попугай» был термином для узкого круга специалистов по компьютерной лингвистике и этике ИИ. Но за пять лет метафора проникла в массовый разговор об искусственном интеллекте настолько, что стала отправной точкой для проектов далеко за пределами лингвистики — включая упомянутый носимый на плече робот «Stochastic Parrot» от MIT Media Lab, названный прямо в честь термина Бендер и её соавторов. Именно это широкое, но зачастую упрощённое использование метафоры и подтолкнуло Бендер написать разъясняющий пост к пятилетию статьи.

Что не так с термином «искусственный интеллект»

Один из разделов интервью Бендер посвящён самому понятию «искусственный интеллект» — по её мнению, оно вводит в заблуждение так же часто, как и упрощённые трактовки «стохастического попугая». Себя она описывает как исследователя, изучающего, как устроен язык и как люди с ним обращаются, а в компьютерной лингвистике обучает студентов, которые пойдут создавать языковые технологии.

«Лингвистика в самом широком смысле — это изучение того, как работает язык и как мы работаем с языком.

Я вношу в это вклад, а ещё работаю в компьютерной лингвистике, обучая студентов, которые будут создавать языковые технологии», — сказала Эмили Бендер в интервью IEEE Spectrum.

Такая формулировка задачи важна для понимания её исходной критики: Бендер говорит не как противник технологий вообще, а как лингвист, настаивающий на точности языка, которым описывают возможности языковых моделей — и именно неточность этого языка, по её мнению, лежит в основе большинства заблуждений о статье 2021 года.

Что это значит

Спустя пять лет после публикации метафора «стохастического попугая» живёт своей жизнью в популярном дискурсе об ИИ, оторвавшись от исходного академического контекста. Бендер своим постом и интервью пытается вернуть разговору точность формулировок, на которых строилась её изначальная критика больших языковых моделей.

Частые вопросы

Что означает термин «стохастический попугай»?

Это метафора из статьи 2021 года: большие языковые модели статистически предсказывают вероятные последовательности слов, но не понимают смысл сказанного — то есть «повторяют» язык, как попугай, а не осмысливают его.

Почему статью о «стохастических попугаях» называют скандальной?

Потому что незадолго до её публикации в марте 2021 года Google уволил двух из четырёх авторов — Тимнит Гебру и Маргарет Митчелл, что привлекло к работе дополнительное внимание СМИ и академического сообщества.

Где Эмили Бендер объяснила заблуждения о статье?

Она написала пост «Stochastic Parrots: Frequently Unasked Questions» и отдельно рассказала о своих аргументах в интервью IEEE Spectrum, приуроченном к пятилетию публикации оригинальной статьи.