Adieu les patchs : l'architecture TAPe + ML change les règles de la vision par ordinateur

Adieu les patchs : l'architecture TAPe + ML change les règles de la vision par ordinateur

Les réseaux de neurones actuels de vision par ordinateur obtiennent des résultats saisissants, mais leur développement et leur entraînement exigent des ressources de calcul colossales. Des jeux de données gigantesques, des architectures complexes, des milliers de processeurs graphiques et des semaines, voire des mois, d'entraînement continu : tel est le prix du progrès. Or une bonne partie de ces ressources sert à détruire la structure d'origine des données, en découpant l'image en fragments aléatoires (patchs), puis à tenter de retrouver cette structure à partir du « chaos » obtenu.

La nouvelle architecture T+ML propose une approche radicalement différente, fondée sur la théorie de la perception active (TAPe), qui promet de rendre l'entraînement des systèmes d'IA nettement plus rapide et plus économique.

Contexte : L'approche standard de la vision par ordinateur en apprentissage profond consiste à traiter les images comme des ensembles de pixels ou de petits patchs choisis arbitrairement. Les réseaux de neurones convolutifs (CNN) et les transformers, malgré leurs succès, fonctionnent précisément ainsi. Les CNN appliquent des filtres en séquence pour extraire des caractéristiques de zones locales, tandis que les transformers découpent l'image en patchs et utilisent un mécanisme d'attention pour établir des relations entre eux.

Au fond, les deux méthodes tentent d'« assembler » la compréhension de l'image à partir de pièces disparates. TAPe propose de changer le paradigme lui-même : au lieu de travailler sur des données « brutes », le système manipule des « blocs de construction » structurés, aux liens connus à l'avance. Le modèle peut ainsi reconnaître d'emblée l'architecture des objets, au lieu d'essayer de la reconstruire à partir de données chaotiques, ce qui constitue le fondement de la théorie de la perception active.

T+ML est une mise en œuvre de cette théorie, qu'elle associe à la puissance de l'apprentissage automatique.

Analyse approfondie : L'architecture T+ML se distingue fondamentalement des CNN et des transformers classiques. Plutôt que de découper l'image en patchs uniformes, souvent sans lien entre eux, T+ML utilise des éléments TAPe, des « blocs de construction » de plus haut niveau et porteurs de sens sémantique. Ces blocs ont une structure interne connue et des liens prédéfinis entre eux.

Par exemple, au lieu d'examiner des pixels isolés ou de petits groupes de pixels formant une partie de la roue d'une voiture, T+ML peut manipuler un « bloc » roue déjà constitué, en comprenant sa forme, sa fonction et sa position habituelle sur le véhicule. L'apprentissage automatique (ML) sert ici à apprendre au modèle à utiliser efficacement ces blocs structurés et à établir entre eux des dépendances complexes pour résoudre des tâches précises. Cette approche permet au modèle de former beaucoup plus vite une représentation globale de l'objet, sans passer par l'étape d'« assemblage » à partir de petits détails.

Conséquences : Les premiers tests et les calculs théoriques liés à l'architecture T+ML font apparaître des avantages significatifs. Une charge de calcul réduite signifie que l'entraînement des modèles peut devenir nettement plus rapide et nécessiter un matériel moins coûteux. Cela ouvre la porte à un usage plus large de la vision par ordinateur avancée là où les ressources sont limitées : appareils mobiles, systèmes embarqués, voire objets connectés portables.

Par ailleurs, une utilisation plus efficace des données et de la puissance de calcul peut contribuer à bâtir des systèmes d'IA plus durables et plus sobres en énergie, une étape importante vers une intelligence artificielle « verte ». La polyvalence de T+ML suggère aussi qu'elle pourrait s'appliquer à un large éventail de tâches de vision par ordinateur, de la reconnaissance d'objets et la segmentation d'images à l'analyse de flux vidéo et à la reconstruction 3D.

Conclusion : L'architecture T+ML, fondée sur la théorie de la perception active, ouvre une piste prometteuse pour la vision par ordinateur. Renoncer au traitement de patchs arbitraires au profit de « blocs de construction » structurés promet de révolutionner l'entraînement des réseaux de neurones, en le rendant plus rapide, plus économique et plus accessible. Si ces premiers résultats se confirment dans des études à plus grande échelle, nous pourrions assister à une vraie percée, qui permettrait à l'IA de « voir » le monde avec plus de sens et d'efficacité que jamais.