Crítico dissecta estudo do laboratório de neurociência do Sber sobre IA e aponta falhas metodológicas

O Habr publicou uma análise crítica de um artigo do Laboratório de Neurociência e Comportamento Humano, unidade científica do Sber que estuda a interação da inteligência artificial com os processos cognitivos e o comportamento humano.

O que o laboratório publicou

O Laboratório de Neurociência e Comportamento Humano é uma estrutura dentro do Sber que atua na interseção entre neurociência, psicologia cognitiva e IA. Os autores publicaram um artigo com uma tese chamativa: "A IA pode mudar a opinião de uma pessoa. Testamos isso com dilemas morais".

A questão que investigaram não é uma abstração acadêmica. A capacidade de modelos de linguagem de influenciar as atitudes morais das pessoas tem relação direta com a regulação de produtos de IA, com práticas educacionais e com a forma como a sociedade avalia os riscos dos grandes modelos de linguagem. Os autores afirmaram que essa influência existe e respaldaram a afirmação com experimentos próprios.

O Sber é um dos principais desenvolvedores de IA da Rússia, com o GigaChat como carro-chefe, e por isso a publicação tinha pretensão de autoridade científica séria. Foi com essa expectativa que o autor independente a leu.

O que o crítico encontrou

O primeiro sinal de alerta foram os erros no texto. De início, o autor os atribuiu a erros de digitação, algo que acontece até em grandes laboratórios. Mas uma análise detalhada mostrou que o problema vai além de falhas formais.

A objeção central diz respeito à interpretação dos dados experimentais. O crítico considera que as conclusões do artigo não decorrem dos dados apresentados com o grau de certeza com que os autores as expõem. Em outras palavras: o estudo mostrou uma coisa, e os autores tiraram conclusões como se fosse outra.

• Erros de conteúdo que vão além de erros de digitação
• Interpretação questionável dos resultados dos próprios experimentos
• Descompasso entre os dados e as conclusões finais
• Dúvidas sobre rigor metodológico e reprodutibilidade
• Retórica incomum na ciência revisada por pares

Tudo isso levou o crítico a uma pergunta mais ampla: o que é o laboratório de neurociência do Sber, qual é seu nível científico real e que tarefas ele de fato cumpre?

Ciência corporativa e seus riscos

A situação se encaixa em uma tendência mais ampla: grandes empresas de tecnologia criam unidades de pesquisa próprias que publicam trabalhos sob uma marca corporativa de prestígio. A confiança na marca se transfere automaticamente ao conteúdo das publicações, e é aí que surge um risco sistêmico.

"Dado o prestígio do Sber como desenvolvedor da melhor IA da Rússia, levei o artigo bastante a sério.

Mais surpreendente foi que os autores o levaram menos a sério", escreve o autor da análise.

Quando laboratórios corporativos publicam estudos metodologicamente fracos sobre temas sensíveis, criam referências distorcidas, tanto para a comunidade de especialistas quanto para o público geral, que tende a tomar publicações corporativas por verdade acadêmica.

O que isso significa

A análise pública de um autor independente é um elemento importante para a saúde do setor. A pesquisa corporativa em IA molda cada vez mais a narrativa pública sobre as capacidades e os riscos da IA, e a crítica independente não é um ataque à reputação, mas um mecanismo necessário de verificação.

Para o Sber, o caso levanta uma pergunta direta sobre padrões: até que ponto as publicações científicas de laboratórios corporativos correspondem à confiança que esperam?