OpenRSI Index набрал 133 тысячи просмотров: ИИ меряют уровнем учёных

Проект OpenRSI Index, который пытается ответить на вопрос «как далеко ИИ от уровня передовых исследователей», собрал более 133 тысяч просмотров под стартовым постом на X. Тема также попала в раздел Today's News платформы. Об этом сообщает китайское издание Jiqizhixin. В доступном фрагменте материала методологию индекса не раскрывают, поэтому ниже разделено то, что известно, и то, что предстоит проверить.

Что известно на данный момент

Фактов немного, и они касаются в основном реакции аудитории, а не содержания проекта:

• название: OpenRSI Index (в публикации также OpenRSI-Index);
• площадка запуска: X, стартовый пост с более чем 133 тысячами просмотров;
• отдельный сигнал: упоминание в Today's News, куда платформа выносит заметные обсуждения;
• рамка вопроса: сколько осталось до момента, когда ИИ превзойдёт передовых научных сотрудников.

По названию можно предположить, что RSI связан с рекурсивным самоулучшением (recursive self-improvement), то есть с ИИ, который ускоряет разработку самого ИИ. Источник эту расшифровку в приведённом фрагменте не подтверждает, так что это гипотеза.

Почему тема сместилась от рейтингов к науке

Заголовок оригинала противопоставляет «накрутку рейтингов» и «занятие наукой». За ним стоит понятная проблема: классические бенчмарки насыщаются. Модели выходят на потолок, а разница в пару процентных пунктов мало говорит о способности вести исследование.

Отрасль уже пробовала уйти в сторону более реалистичных задач. OpenAI выпустила MLE-bench на основе 75 соревнований Kaggle и PaperBench, где агент воспроизводит работы с конференции ICML. METR предложила RE-Bench: набор сред для исследовательской инженерии, где результат агентов сравнивают с результатом людей-экспертов. Все эти проекты проверяют фрагменты работы исследователя. Единый индекс, который претендует на сравнение с передовыми учёными, должен охватывать больше: постановку гипотезы, дизайн эксперимента, разбор неудач и выбор следующего шага.

Что нужно увидеть в методологии

Высокий интерес ещё не говорит о качестве измерения. Чтобы судить об OpenRSI Index, нужны ответы на несколько вопросов:

• Из каких задач состоит индекс и насколько они похожи на реальную исследовательскую работу?
• Кто «передовые исследователи» и как задан их базовый уровень: средний, лучший, ограниченный по времени?
• Как исключена утечка тестовых данных в обучающие выборки?
• Кто оценивает результат: автоматические метрики, эксперты или другая модель?
• Открыты ли данные и код (слово Open в названии на это намекает) и можно ли независимо воспроизвести цифры?
• Что именно считается «превосходством»: скорость, точность, новизна результата?

Без ответов любая итоговая цифра вроде «ИИ на 40% пути» остаётся красивой, но слабо проверяемой.

Практический вывод

Для команд, которые строят продукты на агентах или планируют исследовательские процессы с ИИ, сейчас разумно сделать три вещи. Во-первых, дождаться опубликованной методологии и посмотреть, совпадает ли состав задач с вашими. Во-вторых, не переносить итоговый индекс на собственную работу, а прогнать модели на внутреннем наборе реальных кейсов с замером времени и доли ошибок. В-третьих, при чтении любых заявлений о «превосходстве над учёными» уточнять, на каком горизонте оценивались задачи: часы и недели работы дают разные картины.

Интерес к OpenRSI Index показывает, что вопрос об ИИ-исследователях уже выходит за пределы узкого круга специалистов. Насколько индекс заслуживает доверия, станет ясно по деталям, которых пока нет в открытом доступе.