Une métrique d'autorétablissement : des chercheurs créent un critère ASI pour évaluer l'IA

Des chercheurs ont proposé une nouvelle approche pour évaluer les modèles d'IA : le critère ASI, fondé sur le concept d'autonomie informationnelle. C'est une tentative de dépasser les métriques de performance traditionnelles et de mesurer des qualités plus profondes de l'intelligence artificielle, celles qui se manifestent dans la capacité d'un système à s'adapter et à se rétablir.

L'essence du critère ASI

Le critère ASI propose d'évaluer la capacité d'un modèle à se rétablir et à se développer à partir d'une « graine » informationnelle minimale : le plus petit ensemble de données dont un système a besoin pour fonctionner et évoluer. Le nom renvoie au concept d'Artificial Super Intelligence, mais l'accent porte moins sur la superintelligence que sur la capacité du système à se développer de façon autonome et sur la densité d'information.

L'idée est empruntée à la biologie : les organismes peuvent se régénérer à partir d'une unité minimale (une cellule, l'ADN). Les auteurs proposent d'appliquer une approche similaire à l'IA : quelle est la complexité minimale de l'ensemble d'informations à partir duquel un modèle peut restaurer ses capacités ? Cela reflète l'idée d'une « IA technotrope » : un système qui peut se nourrir d'un volume minimal d'informations et se développer à partir de cette base.

Comment ça fonctionne

La métrique mesure plusieurs paramètres clés du système :

• Base d'information minimale : la taille du plus petit jeu de données nécessaire pour initialiser le modèle
• Vitesse de rétablissement : la rapidité avec laquelle le système retrouve ses fonctions après un « redémarrage »
• Exhaustivité du rétablissement : le pourcentage des capacités et des connaissances d'origine qui est restauré
• Capacité d'extension : si le système peut se développer et acquérir de nouvelles capacités au-delà de ses paramètres initiaux

En pratique, un modèle capable de restaurer ses capacités à partir d'un très faible volume d'informations obtient un meilleur score au critère ASI. Cela reflète son adaptabilité, sa compacité informationnelle et son potentiel de fonctionnement avec des ressources limitées. Plus le critère est élevé, plus le système exploite « intelligemment » l'information disponible.

Où appliquer la métrique

Le critère ASI peut être particulièrement utile pour développer des modèles destinés à des environnements aux ressources limitées, comme les appareils mobiles, l'edge computing ou les environnements dont l'accès aux bases de données centrales est instable.

La métrique aide aussi à évaluer la résistance d'un modèle à la perte d'information et à l'érosion des connaissances, ainsi que la rapidité avec laquelle il peut s'adapter à des conditions d'environnement changeantes.

Pour les chercheurs, elle devient un outil pour comprendre la structure interne des modèles et leur organisation : les modèles dotés d'un critère ASI élevé peuvent être plus « compréhensibles » du point de vue de la compression de l'information et contiennent une répartition des connaissances plus dense et plus efficace.

Ce que cela signifie

Le critère ASI est proposé comme un pas vers une évaluation plus complète et plus objective des systèmes d'IA. Les métriques traditionnelles (précision, recall, F1-score) nous disent dans quelle mesure un modèle résout une tâche précise sur un jeu de données précis. Le critère ASI ajoute une mesure de l'« efficacité interne » du système et de sa capacité à se développer de manière autonome.

Si la métrique se diffuse dans la communauté scientifique, elle pourrait changer la manière de concevoir et d'entraîner les modèles d'IA, vers plus de compacité et d'adaptabilité.