Учёные предложили новый способ измерять интеллект ИИ выше человеческого уровня

Группа исследователей в июле 2026 года опубликовала на arXiv работу, предлагающую новый подход к измерению возможностей ИИ-систем, которые уже превосходят человека: вместо фиксированных тестов, написанных людьми, модели сами генерируют друг для друга публичные испытания, а результаты агрегируются в состязательный психометрический рейтинг.

В чём проблема существующих бенчмарков

Вопрос, вынесенный в заголовок работы — «как измерить интеллект за пределами человеческого масштаба» — становится всё более практическим по мере того, как флагманские модели одну за другой обгоняют людей на профессиональных экзаменах, тестах по программированию и научных олимпиадах. Бенчмарки, написанные людьми, со временем насыщаются (saturate) — модели постепенно набирают в них максимальный или близкий к максимальному результат, и тест перестаёт различать системы по качеству. Для моделей, которые уже превосходят человека в конкретной области, проблема усугубляется: составители тестов (examiners) могут просто не знать, какие задачи одновременно достаточно сложны и поддаются проверке (verifiable) для системы такого уровня.

Авторы утверждают, что эта трудность — не случайность конкретных тестов, а системное следствие самого подхода к оцениванию по абсолютной шкале (absolute-scale evaluation), когда результат сравнивается с фиксированным человеческим эталоном.

Как устроен новый подход

Вместо абсолютной шкалы авторы предлагают парадигму относительного измерения (relative measurement): модели сами генерируют публичные испытания (public challenges), предназначенные для того, чтобы разделять другие системы по качеству, — то есть тест создаёт не человек-эксперт, а сама ИИ-система, конкурирующая с другими.

• Результаты таких испытаний агрегируются в состязательную психометрическую рейтинговую систему (adversarial psychometric rating system)
• Такая система, по замыслу авторов, способна масштабироваться вместе с ростом возможностей оцениваемых систем — то есть не «упирается в потолок», как статичные бенчмарки
• Авторы описывают практические протоколы, снижающие стимулы к атакам на основе приватной информации (private-information attacks) — то есть попыткам «подсмотреть» ответы или условия теста
• Протоколы поддерживают adjudication без участия судьи (judge-free), то есть не требуют отдельной модели-арбитра или человека для вынесения вердикта
• Фреймворк опробован как на проверяемых (verifiable) задачах, так и на открытых, не поддающихся формальной проверке (open-ended non-verifiable) доменах

Зачем нужна такая система оценивания

Идея в том, чтобы оценивание могло «продолжать работать» и после того, как системы превзойдут человеческий уровень (human frontier) в конкретной области — там, где написанные людьми бенчмарки уже не способны отличить хорошую модель от превосходной, потому что сам человек-составитель теста не может гарантированно оценить сложность и корректность задачи для сверхчеловеческой системы.

Ключевой инженерный вызов такого подхода — не допустить, чтобы модели «сговаривались» между собой или подстраивали испытания под свои слабые места конкурентов нечестным образом. Именно поэтому авторы отдельно описывают протоколы против атак на основе приватной информации и настаивают на adjudication без участия отдельного судьи: чем меньше в системе точек, которые можно «обмануть» скоординированными действиями участников оценки, тем надёжнее итоговый рейтинг.

Что это значит

Работа встраивается в более широкую дискуссию об исчерпании (saturation) существующих бенчмарков ИИ: по мере того как модели обгоняют человеческие тесты один за другим, индустрии нужны способы измерения, которые не зависят от способности человека придумывать достаточно сложные задачи. Подход, где сами модели генерируют и оценивают испытания друг для друга, — один из возможных ответов на этот вызов, хотя его практическая надёжность и устойчивость к манипуляциям ещё предстоит проверить на реальных, широко используемых системах.