Cinq ans après, Emily Bender explique ce que signifie vraiment le terme Stochastic Parrots

En mars 2021, quatre linguistes et spécialistes de l'intelligence artificielle publiaient l'article « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? ». Le texte a popularisé la métaphore du « perroquet stochastique » : un système qui prédit statistiquement les mots sans en comprendre le sens. Cinq ans plus tard, son autrice principale, Emily Bender, professeure de linguistique computationnelle à l'Université de Washington, a publié un billet qui démonte les principaux malentendus autour du terme, et s'en est expliquée dans un entretien à IEEE Spectrum.

Pourquoi l'article a fait tant de bruit

Un scandale a amplifié l'attention portée à l'article : peu avant sa publication, Google a licencié deux de ses coautrices, les chercheuses Timnit Gebru et Margaret Mitchell. L'article soutenait que les grands modèles de langage génèrent du texte en prédisant statistiquement des séquences de mots probables, et non en saisissant le sens de ce qu'ils produisent. D'où la métaphore du « perroquet », qui reproduit des motifs sans les comprendre.

• L'article a été publié en mars 2021 et compte quatre auteurs.
• Google a licencié les coautrices Timnit Gebru et Margaret Mitchell peu avant sa parution.
• En cinq ans, la métaphore a largement débordé du monde universitaire et inspiré des projets comme « Stochastic Parrot », un robot porté sur l'épaule conçu au MIT Media Lab.
• Pour les cinq ans de l'article, Emily Bender a rédigé le billet « Stochastic Parrots: Frequently Unasked Questions » afin de dissiper les malentendus sur le terme.

Comment la métaphore est sortie du monde universitaire

Au départ, le « perroquet stochastique » était un terme réservé à un cercle restreint de spécialistes de la linguistique computationnelle et de l'éthique de l'IA. En cinq ans, la métaphore s'est pourtant imposée dans le débat grand public sur l'intelligence artificielle, au point de servir de point de départ à des projets bien au-delà de la linguistique. C'est le cas du robot porté sur l'épaule « Stochastic Parrot » du MIT Media Lab, baptisé directement en référence au terme d'Emily Bender et de ses coautrices. C'est précisément cet usage étendu, mais souvent simplifié, de la métaphore qui a poussé la chercheuse à rédiger un billet de clarification pour les cinq ans de l'article.

Ce qui cloche avec le terme « intelligence artificielle »

Une partie de l'entretien porte sur la notion même d'« intelligence artificielle ». Selon Emily Bender, elle induit en erreur aussi souvent que les lectures simplistes du « perroquet stochastique ». Elle se présente comme une chercheuse qui étudie le fonctionnement du langage et la manière dont les humains s'en servent ; en linguistique computationnelle, elle forme des étudiants appelés à concevoir des technologies du langage.

« La linguistique, au sens le plus large, c'est l'étude du fonctionnement du langage et de la façon dont nous travaillons avec lui.

J'y contribue, et je travaille aussi en linguistique computationnelle, où je forme des étudiants qui vont créer des technologies du langage », a déclaré Emily Bender dans son entretien à IEEE Spectrum.

Cette manière de définir son rôle éclaire sa critique initiale. Emily Bender ne s'exprime pas en adversaire de la technologie en général, mais en linguiste qui exige de la précision dans le vocabulaire employé pour décrire les capacités des modèles de langage. Et c'est justement l'imprécision de ce vocabulaire qui, selon elle, est à l'origine de la plupart des malentendus sur l'article de 2021.

Ce que cela signifie

Cinq ans après sa publication, la métaphore du « perroquet stochastique » vit sa propre vie dans le discours grand public sur l'IA, détachée de son contexte universitaire d'origine. Avec ce billet et cet entretien, Emily Bender tente de redonner au débat la précision de formulation sur laquelle reposait sa critique initiale des grands modèles de langage.

Questions fréquentes

Que signifie le terme « perroquet stochastique » ?

C'est une métaphore issue de l'article de 2021 : les grands modèles de langage prédisent statistiquement des séquences de mots probables, mais ne comprennent pas le sens de ce qu'ils disent. Autrement dit, ils « répètent » le langage comme un perroquet, sans le comprendre.

Pourquoi l'article sur les « perroquets stochastiques » est-il

qualifié de controversé ?

Parce que peu avant sa publication, en mars 2021, Google a licencié deux de ses quatre auteurs, Timnit Gebru et Margaret Mitchell, ce qui a attiré sur ce travail l'attention accrue des médias et de la communauté universitaire.

Où

Emily Bender a-t-elle expliqué les malentendus sur l'article ?

Elle a rédigé le billet « Stochastic Parrots: Frequently Unasked Questions » et a détaillé ses arguments dans un entretien distinct à IEEE Spectrum, publié à l'occasion des cinq ans de l'article original.