Crítico analisou estudo do laboratório de neurociência do Sber sobre AI e encontrou erros metodológicos

No Habr foi publicada uma análise crítica de um artigo do Laboratório de Neurociência e Comportamento Humano — uma subdivisão científica da Sber que estuda a interação da inteligência artificial com processos cognitivos e comportamento humano.

O que o laboratório publicou

O Laboratório de Neurociência e Comportamento Humano é uma estrutura dentro da Sber trabalhando na intersecção de neurociência, psicologia cognitiva e IA. Os autores publicaram um artigo com uma tese notável: "IA pode mudar a opinião humana. Testamos isso em dilemas morais."

A questão que investigaram não é uma abstração acadêmica. A capacidade de modelos de linguagem influenciarem as posições morais das pessoas diz respeito diretamente à regulamentação de produtos de IA, práticas educacionais e como a sociedade avalia os riscos de grandes modelos de linguagem. Os autores afirmaram que tal influência existe e apoiaram essa afirmação com seus próprios experimentos.

Dado que a Sber é um dos principais desenvolvedores de IA na Rússia com seu produto estrela GigaChat, a publicação reivindicava autoridade científica séria. Foi com essa expectativa que um autor independente a leu.

O que o crítico encontrou

O primeiro sinal de alerta foram erros no texto. O autor inicialmente os atribuiu a erros de digitação — tais coisas acontecem em grandes laboratórios. Mas na análise detalhada, descobriu-se que o problema era mais profundo do que meros erros formais. A crítica central é a interpretação dos dados experimentais. O crítico acredita que as conclusões do artigo não seguem dos dados apresentados com o grau de certeza com o qual os autores as apresentam. Em outras palavras: o estudo mostrou uma coisa, mas os autores tiraram conclusões como se fosse sobre outra.

• Erros substantivos indo além de erros de digitação
• Interpretação questionável de seus próprios resultados experimentais
• Discrepância entre dados e conclusões finais
• Questões sobre rigor metodológico e reprodutibilidade
• Retórica não característica de ciência revisada por pares

Tudo isso levou o crítico a fazer uma pergunta mais ampla: o que é o Laboratório de Neurociência da Sber, qual é seu nível científico real e quais tarefas ele realmente resolve?

Ciência corporativa e seus riscos

A situação se encaixa em uma tendência mais ampla: grandes empresas de tecnologia criam suas próprias divisões de pesquisa publicando trabalhos sob uma marca corporativa autoritária. A confiança na marca é automaticamente transferida para o conteúdo das publicações — e é aqui que surge um risco sistêmico.

"Dada a autoridade da Sber como desenvolvedora da melhor IA da Rússia, abordei o artigo com bastante seriedade.

O que foi surpreendente foi que os autores abordaram com menos seriedade," escreve o autor da análise.

Quando laboratórios corporativos publicam pesquisas metodologicamente fracas sobre tópicos sensíveis, estabelecem parâmetros distorcidos — tanto para a comunidade de especialistas quanto para um público amplo inclinado a aceitar publicações corporativas como verdade acadêmica.

O que isso significa

A análise pública por um autor independente é um elemento importante para a saúde da indústria. A pesquisa de IA corporativa está cada vez mais moldando a narrativa pública sobre as capacidades e riscos da IA, e a crítica independente não é um ataque à reputação, mas um mecanismo necessário para verificação. Para a Sber, este caso levanta uma questão direta sobre padrões: quão bem as publicações científicas dos laboratórios corporativos atendem à confiança que eles esperam?