Un critique démonte l'étude sur l'IA du laboratoire de neurosciences de Sber et relève des failles méthodologiques

Habr a publié une analyse critique d'un article du Laboratoire de neurosciences et du comportement humain, l'unité scientifique de Sber qui étudie l'interaction de l'intelligence artificielle avec les processus cognitifs et le comportement humain.

Ce que le laboratoire a publié

Le Laboratoire de neurosciences et du comportement humain est une structure interne de Sber, à la croisée des neurosciences, de la psychologie cognitive et de l'IA. Ses auteurs ont publié un article à la thèse frappante : « L'IA peut changer l'opinion d'une personne. Nous l'avons testé sur des dilemmes moraux ».

La question qu'ils ont étudiée n'est pas une abstraction académique. La capacité des modèles de langage à influencer les attitudes morales des gens touche directement à la régulation des produits d'IA, aux pratiques éducatives et à la façon dont la société évalue les risques des grands modèles de langage. Les auteurs affirmaient que cette influence existe et appuyaient cette affirmation sur leurs propres expériences.

Sber est l'un des principaux développeurs d'IA de Russie, avec son produit phare GigaChat ; la publication prétendait donc à une sérieuse autorité scientifique. C'est avec cette attente que l'auteur indépendant l'a lue.

Ce qu'a trouvé le critique

Le premier signal d'alarme a été les erreurs dans le texte. L'auteur les a d'abord mises sur le compte de coquilles, ce qui arrive même dans de grands laboratoires. Mais l'examen détaillé a montré que le problème dépasse les simples défauts de forme.

La critique centrale porte sur l'interprétation des données expérimentales. Le critique estime que les conclusions de l'article ne découlent pas des données présentées avec le degré de certitude affiché par les auteurs. Autrement dit : l'étude a montré une chose, et les auteurs ont tiré des conclusions comme s'il s'agissait d'une autre.

• Des erreurs de fond qui vont au-delà des coquilles
• Une interprétation contestable des résultats de leurs propres expériences
• Un décalage entre les données et les conclusions finales
• Des questions sur la rigueur méthodologique et la reproductibilité
• Une rhétorique peu habituelle pour la science évaluée par les pairs

Tout cela a poussé le critique à se poser une question plus large : qu'est-ce que le laboratoire de neurosciences de Sber, quel est son niveau scientifique réel et quelles tâches remplit-il vraiment ?

La science d'entreprise et ses risques

La situation s'inscrit dans une tendance plus large : les grandes entreprises technologiques créent leurs propres unités de recherche, qui publient sous une marque corporative prestigieuse. La confiance dans la marque se reporte automatiquement sur le contenu des publications, et c'est là que naît un risque systémique.

« Compte tenu du prestige de Sber en tant que développeur de la meilleure IA de Russie, j'ai pris l'article assez au sérieux.

D'autant plus surprenant que les auteurs l'aient pris moins au sérieux », écrit l'auteur de l'analyse.

Lorsque des laboratoires d'entreprise publient des études méthodologiquement faibles sur des sujets sensibles, ils créent des repères faussés, tant pour la communauté d'experts que pour un large public enclin à prendre les publications corporatives pour une vérité académique.

Ce que cela signifie

L'analyse publique d'un auteur indépendant est un élément important de la bonne santé du secteur. La recherche d'entreprise en IA façonne de plus en plus le récit public sur les capacités et les risques de l'IA, et la critique indépendante n'est pas une attaque contre la réputation, mais un mécanisme de vérification nécessaire.

Pour Sber, ce cas pose une question directe sur les standards : dans quelle mesure les publications scientifiques des laboratoires d'entreprise sont-elles à la hauteur de la confiance qu'elles attendent ?