OpenRSI Index suma más de 133.000 visualizaciones: la IA se mide con el rasero de los científicos

El proyecto OpenRSI Index, que intenta responder a la pregunta «¿a qué distancia está la IA del nivel de los investigadores de vanguardia?», superó las 133 mil visualizaciones en su post de lanzamiento en X. El tema también llegó a la sección Today's News de la plataforma. Lo informa el medio chino Jiqizhixin. En el fragmento disponible del material no se revela la metodología del índice, así que a continuación se separa lo que se sabe de lo que queda por comprobar.

Qué se sabe hasta ahora

Hay pocos datos, y se refieren sobre todo a la reacción de la audiencia, no al contenido del proyecto:

• nombre: OpenRSI Index (en la publicación aparece también como OpenRSI-Index);
• plataforma de lanzamiento: X, con un post inicial de más de 133 mil visualizaciones;
• otra señal: la mención en Today's News, donde la plataforma destaca las conversaciones más visibles;
• planteamiento de la pregunta: cuánto falta para que la IA supere a los investigadores científicos de vanguardia.

Por el nombre, cabe suponer que RSI se refiere a la automejora recursiva (recursive self-improvement), es decir, a una IA que acelera el desarrollo de la propia IA. El fragmento citado de la fuente no confirma este significado, así que se trata de una hipótesis.

Por qué el debate ha pasado de los rankings a la ciencia

El titular original contrapone «inflar rankings» y «hacer ciencia». Detrás hay un problema claro: los benchmarks clásicos se saturan. Los modelos llegan al techo, y una diferencia de un par de puntos porcentuales dice poco sobre la capacidad de llevar a cabo una investigación.

El sector ya ha intentado avanzar hacia tareas más realistas. OpenAI lanzó MLE-bench, basado en 75 competiciones de Kaggle, y PaperBench, donde el agente reproduce trabajos de la conferencia ICML. METR propuso RE-Bench: un conjunto de entornos de ingeniería de investigación en el que se compara el resultado de los agentes con el de expertos humanos. Todos estos proyectos evalúan fragmentos del trabajo de un investigador. Un índice único que aspire a compararse con los científicos de vanguardia debe abarcar más: formular hipótesis, diseñar experimentos, analizar fracasos y elegir el siguiente paso.

Qué hay que ver en la metodología

Un gran interés todavía no dice nada sobre la calidad de la medición. Para juzgar OpenRSI Index se necesitan respuestas a varias preguntas:

• ¿De qué tareas se compone el índice y hasta qué punto se parecen al trabajo real de investigación?
• ¿Quiénes son los «investigadores de vanguardia» y cómo se define su nivel de referencia: medio, el mejor, limitado por tiempo?
• ¿Cómo se evita la filtración de datos de prueba en los conjuntos de entrenamiento?
• ¿Quién evalúa el resultado: métricas automáticas, expertos u otro modelo?
• ¿Son abiertos los datos y el código (la palabra Open en el nombre lo sugiere) y se pueden reproducir las cifras de forma independiente?
• ¿Qué se considera exactamente «superioridad»: velocidad, precisión, novedad del resultado?

Sin respuestas, cualquier cifra final del tipo «la IA ha recorrido el 40% del camino» sigue siendo llamativa, pero difícil de verificar.

Conclusión práctica

Para los equipos que construyen productos con agentes o planifican procesos de investigación con IA, ahora conviene hacer tres cosas. Primero, esperar a que se publique la metodología y comprobar si la composición de las tareas coincide con las suyas. Segundo, no trasladar el índice final a su propio trabajo, sino probar los modelos con un conjunto interno de casos reales, midiendo el tiempo y la proporción de errores. Tercero, al leer cualquier afirmación sobre la «superioridad frente a los científicos», preguntar en qué horizonte se evaluaron las tareas: horas y semanas de trabajo ofrecen panoramas distintos.

El interés por OpenRSI Index muestra que la cuestión de los investigadores de IA ya trasciende el círculo reducido de especialistas. Hasta qué punto el índice merece confianza se sabrá por detalles que todavía no están en abierto.