Метрика самовосстановления: исследователи создали ASI-критерий для оценки AI

Исследователи предложили новый подход к оценке AI-моделей — ASI-критерий, основанный на концепции информационной автономности. Это попытка выйти за пределы традиционных метрик производительности и измерить более глубокие качества искусственного интеллекта, которые проявляются в способности системы к адаптации и восстановлению.

Суть ASI-критерия ASI-критерий предлагает оценивать способность модели

восстановиться и развиться из минимального информационного "семени" — самого маленького набора данных, необходимого для того, чтобы система могла функционировать и эволюционировать. Название отсылает к концепции Artificial Super Intelligence, но речь идёт не столько о сверхинтеллекте, сколько о способности системы к автономному развитию и информационной плотности. Идея заимствована из биологии: организмы способны восстановиться из минимальной единицы (клетки, ДНК). Авторы предлагают применить аналогичный подход к оценке AI — какова минимальная сложность информационного набора, из которого модель может восстановить свои возможности? Это отражает идею "технотропного AI" — системы, которая может питаться минимальным объёмом информации и развиваться из этого основания.

Как это работает

Метрика измеряет несколько ключевых параметров системы: Минимальная информационная база — размер минимального набора данных для инициализации модели Скорость восстановления — как быстро система восстановит свои функции после "перезагрузки"

• Полнота восстановления — какой процент изначальных способностей и знаний восстановится * Способность к расширению — может ли система развиться и приобрести новые возможности за пределы исходных параметров На практике это означает, что модель, которая может восстановить свои способности из очень малого объёма информации, получит более высокую оценку по ASI-критерию. Это отражает её адаптивность, информационную компактность и потенциал для работы в условиях ограниченных ресурсов. Чем выше критерий, тем "умнее" система использует доступную информацию.

Где применять метрику ASI-критерий может быть особенно полезен при

разработке моделей для работы в условиях ограниченных ресурсов — например, на мобильных устройствах, в edge-вычислениях или в средах с нестабильным доступом к центральным базам данных. Метрика также помогает оценить, насколько устойчива модель к потере информации, затуханию знаний и как быстро она может адаптироваться к изменяющимся условиям окружающей среды. Для исследователей это становится инструментом для понимания внутренней структуры моделей и их организации: модели с высоким ASI-критерием могут быть более "понятны" в смысле сжатия информации и содержат более плотное и эффективное распределение знаний.

Что это значит ASI-критерий предложен как шаг к более комплексной и объективной оценке AI-систем.

Традиционные метрики (точность, recall, F1-score) говорят нам, насколько хорошо модель решает конкретную задачу на конкретном датасете. ASI-критерий добавляет измерение "внутренней эффективности" системы и её способности к самостоятельному развитию. Если метрика получит распространение в научном сообществе, это может изменить подход к проектированию и обучению AI-моделей в направлении большей компактности и адаптивности.