Una métrica de autorrecuperación: investigadores crean un criterio ASI para evaluar la IA

Investigadores han propuesto un nuevo enfoque para evaluar modelos de IA: el criterio ASI, basado en el concepto de autonomía informacional. Es un intento de ir más allá de las métricas de rendimiento tradicionales y medir cualidades más profundas de la inteligencia artificial, las que se manifiestan en la capacidad de un sistema para adaptarse y recuperarse.

En qué consiste el criterio ASI

El criterio ASI propone evaluar la capacidad de un modelo para recuperarse y desarrollarse a partir de una "semilla" informativa mínima: el conjunto de datos más pequeño que un sistema necesita para funcionar y evolucionar. El nombre alude al concepto de Artificial Super Intelligence, pero el foco no está tanto en la superinteligencia como en la capacidad del sistema para el desarrollo autónomo y en la densidad de información.

La idea está tomada de la biología: los organismos pueden regenerarse a partir de una unidad mínima (una célula, el ADN). Los autores proponen aplicar un enfoque similar a la IA: ¿cuál es la complejidad mínima del conjunto de información a partir del cual un modelo puede restaurar sus capacidades? Esto refleja la idea de una "IA tecnotrópica": un sistema que puede alimentarse de un volumen mínimo de información y desarrollarse desde esa base.

Cómo funciona

La métrica mide varios parámetros clave del sistema:

• Base informativa mínima: el tamaño del conjunto de datos más pequeño necesario para inicializar el modelo
• Velocidad de recuperación: la rapidez con la que el sistema restablece sus funciones tras un "reinicio"
• Integridad de la recuperación: qué porcentaje de las capacidades y conocimientos originales se restaura
• Capacidad de expansión: si el sistema puede desarrollarse y adquirir nuevas capacidades más allá de sus parámetros iniciales

En la práctica, un modelo que pueda restaurar sus capacidades a partir de un volumen muy pequeño de información obtendrá una puntuación más alta en el criterio ASI. Esto refleja su adaptabilidad, su compacidad informativa y su potencial para trabajar con recursos limitados. Cuanto más alto es el criterio, más "inteligentemente" usa el sistema la información disponible.

Dónde aplicar la métrica

El criterio ASI puede ser especialmente útil al desarrollar modelos para entornos con recursos limitados, como dispositivos móviles, computación en el borde (edge) o entornos con acceso inestable a bases de datos centrales.

La métrica también ayuda a evaluar hasta qué punto un modelo resiste la pérdida de información y el deterioro del conocimiento, y con qué rapidez puede adaptarse a condiciones cambiantes del entorno.

Para los investigadores, se convierte en una herramienta para entender la estructura interna de los modelos y su organización: los modelos con un criterio ASI alto pueden ser más "comprensibles" en términos de compresión de información y contienen una distribución del conocimiento más densa y eficiente.

Qué significa

El criterio ASI se propone como un paso hacia una evaluación más completa y objetiva de los sistemas de IA. Las métricas tradicionales (precisión, recall, F1-score) nos dicen cuán bien resuelve un modelo una tarea concreta en un conjunto de datos concreto. El criterio ASI añade una medida de la "eficiencia interna" del sistema y de su capacidad de desarrollo autónomo.

Si la métrica se extiende en la comunidad científica, puede cambiar la forma de diseñar y entrenar modelos de IA, en favor de una mayor compacidad y adaptabilidad.