TAPe porte la classification à 77 % et se compare à YOLO sur un petit sous-ensemble de COCO

La huitième entrée du journal de TAPe ne porte pas sur une seule fonction : elle assemble presque un schéma de détection complet. Les auteurs ont amélioré la segmentation, porté la classification à 77 % et vérifié ce qui se passe quand on compare l'approche à YOLO sur un petit sous-ensemble de COCO. Leur conclusion intermédiaire est optimiste : le modèle commence déjà à fonctionner dans un scénario où les détecteurs classiques ont généralement besoin de nettement plus de données.

Segmentation par la frontière

La principale mise à jour de cette étape est la segmentation par patchs contrastés sur la frontière réelle de l'objet, et non par un cadre approximatif autour de lui. L'idée est de découper l'image en segments plus naturels, puis d'assembler l'objet à partir d'eux, plutôt que d'essayer de deviner d'emblée une boîte à partir de pixels bruts. Selon les auteurs, cela a rapidement amélioré la fusion des patchs et permis de former des segments plus adéquats pour chaque objet de l'image.

En parallèle, l'équipe a essayé d'autres solutions d'architecture : des têtes supplémentaires, d'autres manières de choisir des segments similaires et des variantes d'agrégation plus complexes. Ces approches n'ont pas produit l'effet attendu. La raison, telle que la décrivent les auteurs, est que ces schémas cherchaient à adapter les données TAPe à une architecture habituelle au lieu de les utiliser telles quelles. En pratique, une voie plus directe a mieux fonctionné : s'appuyer sur la structure des représentations TAPe elles-mêmes et améliorer les liens entre patchs.

Classification sans learning rate

Le problème suivant s'est révélé plus terre à terre : une partie des patchs n'atterrissait parfois pas dans le bon segment. Si un ou plusieurs fragments de l'image ne sont pas associés à un objet, ils sont difficiles à classer correctement, car le modèle ne sait pas à quoi se rattache précisément ce morceau.

Pour rapprocher l'entraînement du comportement réel du modèle, les auteurs ont commencé à simuler pendant l'entraînement la croissance pas à pas d'un segment à partir d'un seul patch, c'est-à-dire à répéter la logique utilisée à l'inférence. Cela a aidé à trouver les bons liens entre patchs, mais n'a pas levé toutes les limites. Le problème restant concerne les régions « non croissantes », lorsque le segment ne rassemble pas assez de contexte et se trompe donc de classe. Dans ces cas, TAPe vérifie désormais en plus les zones voisines et lisse le contexte.

Par ailleurs, les auteurs décrivent un autre objectif d'ingénierie important : éliminer méthodiquement les hyperparamètres susceptibles de perturber le comportement du système. L'un d'eux était le learning rate, auquel cette version renonce, de même qu'à la descente de gradient.

• La segmentation se fait désormais par patchs contrastés à la frontière de l'objet
• La classification est montée à 77 %
• L'abandon du learning rate a apporté environ 3 % de précision
• Les points les plus faibles concernent pour l'instant les petits segments et le manque de contexte
• Le prochain objectif de l'équipe est d'atteindre au moins 80 % en classification

Les auteurs signalent aussi un repère du marché : dans les publications sur DETR, la précision de classification avoisine 79 %, mais on ne sait pas bien si les erreurs de la détection elle-même y sont incluses. Pour TAPe, ce n'est pas encore la ligne d'arrivée, mais la barre la plus proche. Les tests complets sur l'ensemble de COCO restent à venir, car ils prennent beaucoup de temps, mais on voit déjà que l'architecture est devenue plus stable et mieux reliée aux tâches de self-supervised learning.

Premiers tests face à YOLO

Le passage le plus marquant de l'entrée est le premier benchmark direct contre YOLO. Pour l'expérience, les auteurs ont pris un petit extrait de COCO de 5 mille images et l'ont réparti en 70/30 : 3500 images pour l'entraînement et 1500 pour le test. Pour les détecteurs standard, ce volume s'est révélé critiquement faible. Chez TAPe, on affirme que sur ce jeu YOLO ne converge pratiquement pas, et que le niveau de détection reste autour de 1 %.

« YOLO ne converge pas du tout sur le jeu de données que nous

utilisons pour les tests ».

Ce n'est pas encore la comparaison finale sur mAP50, mAP50-95, la vitesse et le nombre de paramètres ; les auteurs préparent encore un article distinct avec des benchmarks complets contre YOLO et RF-DETR. Mais même ce résultat précoce compte, car il illustre la thèse centrale du projet : TAPe cherche à être non pas un énième modèle de détection, mais une architecture capable de travailler avec quelques dizaines d'images par classe là où les approches plus courantes exigent des centaines de milliers d'exemples et une base préentraînée bien plus lourde.

Ce que cela signifie

Si TAPe confirme réellement ses résultats sur l'ensemble des métriques, ce sera un argument de poids en faveur d'une vision par ordinateur qui mise sur la structure des données et pas seulement sur l'échelle. Pour les équipes disposant de petits jeux de données, c'est particulièrement important : le coût d'entrée vers une détection de qualité pourrait baisser sensiblement.