Un crítico analizó un estudio del laboratorio de neurociencia de Sber sobre AI y encontró errores metodológicos

En Habr se publicó un análisis crítico de un artículo del Laboratorio de Neurociencia y Comportamiento Humano — una subdivisión científica de Sber que estudia la interacción de la inteligencia artificial con los procesos cognitivos y el comportamiento humano.

Qué publicó el laboratorio

El Laboratorio de Neurociencia y Comportamiento Humano es una estructura dentro de Sber que trabaja en la intersección de la neurociencia, la psicología cognitiva y la IA. Los autores publicaron un artículo con una tesis notable: "La IA puede cambiar la opinión humana. Lo probamos en dilemas morales."

La pregunta que investigaron no es una abstracción académica. La capacidad de los modelos de lenguaje para influir en las posiciones morales de las personas está directamente relacionada con la regulación de productos de IA, las prácticas educativas y cómo la sociedad evalúa los riesgos de los grandes modelos de lenguaje. Los autores afirmaban que tal influencia existe y respaldaban esta afirmación con sus propios experimentos.

Dado que Sber es uno de los principales desarrolladores de IA en Rusia con su producto estrella GigaChat, la publicación pretendía tener una autoridad científica seria. Fue con esta expectativa que un autor independiente la leyó.

Qué encontró el crítico

La primera señal de alerta fueron los errores en el texto. El autor inicialmente los atribuyó a erratas — tales cosas suceden en grandes laboratorios. Pero al analizar en detalle, resultó que el problema era más profundo que los meros errores formales. La crítica central es la interpretación de los datos experimentales. El crítico cree que las conclusiones del artículo no se derivan de los datos presentados con el grado de certeza con el que los autores las presentan. En otras palabras: el estudio mostró una cosa, pero los autores sacaron conclusiones como si fuera sobre otra.

• Errores sustanciales que van más allá de las erratas
• Interpretación cuestionable de sus propios resultados experimentales
• Discrepancia entre los datos y las conclusiones finales
• Preguntas sobre el rigor metodológico y la reproducibilidad
• Retórica no característica de la ciencia revisada por pares

Todo esto llevó al crítico a hacer una pregunta más ampla: ¿qué es el Laboratorio de Neurociencia de Sber, cuál es su nivel científico real y qué tareas resuelve realmente?

La ciencia corporativa y sus riesgos

La situación se ajusta a una tendencia más ampla: las grandes empresas tecnológicas crean sus propias divisiones de investigación que publican trabajos bajo una marca corporativa autorizada. La confianza en la marca se transfiere automáticamente al contenido de las publicaciones — y aquí es donde surge un riesgo sistémico.

"Dada la autoridad de Sber como desarrolladora de la mejor IA de Rusia, abordé el artículo con bastante seriedad.

Lo sorprendente fue que los autores lo abordaron menos seriamente," escribe el autor del análisis.

Cuando los laboratorios corporativos publican investigaciones metodológicamente débiles sobre temas sensibles, establecen puntos de referencia distorsionados — tanto para la comunidad experta como para una audiencia amplia inclinada a aceptar publicaciones corporativas como verdad académica.

Qué significa esto

El análisis público de un autor independiente es un elemento importante para la salud de la industria. La investigación de IA corporativa está moldeando cada vez más la narrativa pública sobre las capacidades y los riesgos de la IA, y la crítica independiente no es un ataque a la reputación, sino un mecanismo necesario para la verificación. Para Sber, este caso plantea una pregunta directa sobre los estándares: ¿qué tan bien cumplen las publicaciones científicas de los laboratorios corporativos con la confianza que esperan?