Un crítico desmonta el estudio sobre IA del laboratorio de neurociencia de Sber y halla fallos metodológicos

En Habr se ha publicado un análisis crítico de un artículo del Laboratorio de Neurociencia y Comportamiento Humano, la unidad científica de Sber que estudia la interacción de la inteligencia artificial con los procesos cognitivos y la conducta humana.

Qué publicó el laboratorio

El Laboratorio de Neurociencia y Comportamiento Humano es una estructura dentro de Sber que trabaja en la intersección de la neurociencia, la psicología cognitiva y la IA. Sus autores publicaron un artículo con una tesis llamativa: «La IA puede cambiar la opinión de una persona. Lo comprobamos con dilemas morales».

La cuestión que investigaron no es una abstracción académica. La capacidad de los modelos de lenguaje para influir en las actitudes morales de las personas afecta directamente a la regulación de los productos de IA, a las prácticas educativas y a cómo la sociedad evalúa los riesgos de los grandes modelos de lenguaje. Los autores sostuvieron que esa influencia existe y respaldaron la afirmación con sus propios experimentos.

Sber es uno de los principales desarrolladores de IA de Rusia, con su buque insignia GigaChat, de modo que la publicación aspiraba a una autoridad científica seria. Con esa expectativa la leyó el autor independiente.

Qué encontró el crítico

La primera señal de alarma fueron los errores en el texto. El autor los atribuyó al principio a erratas, algo que ocurre incluso en grandes laboratorios. Pero un examen detallado mostró que el problema va más allá de los fallos formales.

La objeción central se refiere a la interpretación de los datos experimentales. El crítico considera que las conclusiones del artículo no se desprenden de los datos presentados con el grado de certeza con que las plantean los autores. Es decir: el estudio mostró una cosa y los autores sacaron conclusiones como si fuera otra.

• Errores de fondo que van más allá de las erratas
• Interpretación discutible de los resultados de sus propios experimentos
• Discrepancia entre los datos y las conclusiones finales
• Dudas sobre el rigor metodológico y la reproducibilidad
• Una retórica poco propia de la ciencia revisada por pares

Todo ello llevó al crítico a una pregunta más amplia: qué es el laboratorio de neurociencia de Sber, cuál es su nivel científico real y qué tareas resuelve en realidad.

La ciencia corporativa y sus riesgos

La situación encaja en una tendencia más amplia: las grandes tecnológicas crean sus propias unidades de investigación que publican trabajos bajo una marca corporativa de prestigio. La confianza en la marca se traslada automáticamente al contenido de las publicaciones, y ahí surge un riesgo sistémico.

«Dado el prestigio de Sber como desarrollador de la mejor IA de Rusia, me tomé el artículo bastante en serio.

Más sorprendente fue que los autores se lo tomaran menos en serio», escribe el autor del análisis.

Cuando los laboratorios corporativos publican estudios metodológicamente débiles sobre temas delicados, generan referencias distorsionadas, tanto para la comunidad de expertos como para un público amplio que tiende a tomar las publicaciones corporativas por verdad académica.

Qué significa

El análisis público de un autor independiente es un elemento importante para la salud del sector. La investigación corporativa en IA moldea cada vez más el relato público sobre las capacidades y los riesgos de la IA, y la crítica independiente no es un ataque a la reputación, sino un mecanismo de verificación necesario.

Para Sber, el caso plantea una pregunta directa sobre los estándares: ¿hasta qué punto las publicaciones científicas de los laboratorios corporativos se corresponden con la confianza que esperan?