Un critique a analysé une étude du laboratoire de neurosciences de Sber sur l’AI et a trouvé des erreurs méthodologiques

Sur Habr a été publiée une analyse critique d'un article du Laboratoire des Neurosciences et du Comportement Humain — une subdivision scientifique de Sber étudiant l'interaction de l'intelligence artificielle avec les processus cognitifs et le comportement humain.

Ce qu'a publié le laboratoire

Le Laboratoire des Neurosciences et du Comportement Humain est une structure au sein de Sber travaillant à l'intersection des neurosciences, de la psychologie cognitive et de l'IA. Les auteurs ont publié un article avec une thèse remarquable : « L'IA peut changer l'opinion humaine. Nous l'avons testé sur des dilemmes moraux.

» La question qu'ils ont examinée n'est pas une abstraction académique. La capacité des modèles de langage à influencer les positions morales des personnes concerne directement la régulation des produits d'IA, les pratiques éducatives et la façon dont la société évalue les risques des grands modèles de langage. Les auteurs affirmaient que cette influence existe et ont soutenu cette affirmation par leurs propres expériences.

Étant donné que Sber est l'un des principaux développeurs d'IA en Russie avec son produit phare GigaChat, la publication revendiquait une autorité scientifique sérieuse. C'est avec cette attente qu'un auteur indépendant l'a lue.

Ce qu'a trouvé le critique

Le premier signal d'alarme a été les erreurs dans le texte. L'auteur les a d'abord attribuées à des fautes de frappe — de telles choses se produisent dans les grands laboratoires. Mais lors d'une analyse détaillée, il s'est avéré que le problème était plus profond que de simples erreurs formelles. La critique centrale porte sur l'interprétation des données expérimentales. Le critique estime que les conclusions de l'article ne découlent pas des données présentées avec le degré de certitude avec lequel les auteurs les présentent. En d'autres termes : l'étude a montré une chose, mais les auteurs ont tiré des conclusions comme s'il s'agissait d'une autre.

• Erreurs substantielles allant au-delà des fautes de frappe
• Interprétation contestable de leurs propres résultats expérimentaux
• Discordance entre les données et les conclusions finales
• Questions concernant la rigueur méthodologique et la reproductibilité
• Rhétorique non caractéristique de la science examinée par les pairs

Tout cela a poussé le critique à se poser une question plus large : qu'est-ce que le Laboratoire des Neurosciences de Sber, quel est son véritable niveau scientifique et quelles tâches résout-il réellement ?

La science d'entreprise et ses risques

La situation s'inscrit dans une tendance plus large : les grandes entreprises technologiques créent leurs propres divisions de recherche publiant des travaux sous une marque corporative d'autorité. La confiance envers la marque est automatiquement transférée au contenu des publications — et c'est là qu'émerge un risque systémique.

« Étant donné l'autorité de Sber en tant que développeuse de la meilleure IA de Russie, j'ai abordé l'article avec beaucoup de sérieux.

Ce qui a été surprenant, c'est que les auteurs l'ont abordé moins sérieusement, » écrit l'auteur de l'analyse.

Quand les laboratoires d'entreprise publient des recherches méthodologiquement faibles sur des sujets sensibles, ils établissent des points de référence distordus — à la fois pour la communauté d'experts et pour un large public enclin à accepter les publications d'entreprise comme vérité académique.

Qu'est-ce que cela signifie

L'analyse publique d'un auteur indépendant est un élément important pour la santé de l'industrie. La recherche en IA d'entreprise façonne de plus en plus le récit public sur les capacités et les risques de l'IA, et la critique indépendante n'est pas une attaque contre la réputation, mais un mécanisme nécessaire pour la vérification. Pour Sber, ce cas soulève une question directe concernant les normes : dans quelle mesure les publications scientifiques des laboratoires d'entreprise répondent-elles à la confiance qu'elles s'attendent à recevoir ?