Habr AI : la détection TAPe a quitté les transformers pour une segmentation presque gratuite

L'équipe Habr AI dans la septième entrée de son journal de détection TAPe a décrit un tournant important : le modèle a abandonné les transformers en faveur d'un schéma plus léger de connexions locales entre patches. Le paradoxe est que la simplification non seulement a réduit la taille du système, mais a également produit un effet secondaire inattendu—les premiers signes de segmentation de la peau et des vêtements sans annotations séparées.

Pourquoi supprimer les transformers

Dans les versions précédentes de l'architecture, les transformers s'occupaient des connexions globales entre fragments visuels, mais ce luxe a un coût élevé à la fois en nombre de paramètres et en calcul. Pour un système de recherche c'est acceptable, mais pour la détection pratique ce n'est pas toujours le cas.

L'équipe Habr AI a décidé de tester s'ils pouvaient abandonner le mécanisme d'attention lourd et garder uniquement ce qui aide vraiment à assembler un objet à partir de ses parties observées. Sur la base des résultats intermédiaires, cette étape allège sensiblement le modèle sans casser l'idée centrale de la représentation TAPe.

Le point de l'expérience n'est pas de déclarer les transformers inutiles. Il s'agit plutôt que pour certaines tâches de vision par ordinateur, les connexions locales fonctionnent mieux qu'elles ne le paraissent, en particulier lorsque le modèle cherche les fragments les plus informatifs et contrastants de la scène. Si un objet peut être décrit par un ensemble de patches caractéristiques et leur voisinage, alors une partie de la complexité globale peut vraiment être supprimée. Cela rend l'entraînement moins cher et l'architecture plus simple à analyser et à itérer.

Comment les patches sont connectés

Au lieu d'un grand bloc qui essaie de voir toute l'image à la fois, le modèle construit des associations locales entre patches TAPe. C'est-à-dire qu'il connecte non pas des tokens abstraits sur toute l'image, mais des régions voisines ou structurellement similaires à partir desquelles la description d'un objet émerge graduellement. Cette approche est plus proche de la logique d'ingénierie : d'abord trouver les détails clés, puis comprendre quels morceaux vont ensemble, et seulement alors assembler une image complète. Pour la détection, ceci est particulièrement utile quand les limites, contours et les transitions visuelles les plus marquées importent.

Les auteurs décrivent l'effet pratique comme suit :

• le modèle nécessite moins de paramètres que la variante avec transformer ;

• le coût computationnel diminue, ce qui facilite l'expérimentation avec l'architecture ;

• les patches les plus contrastants commencent à servir de points d'ancrage pour la description de l'objet ;

• la représentation interne devient plus claire : vous pouvez voir quelles connexions locales fonctionnent réellement ;

• sur des objets complexes comme un être humain, le modèle peut identifier non seulement la silhouette mais aussi les limites internes.

Le dernier point semble le plus intéressant. Quand le système repose sur des zones contrastantes, il commence involontairement à distinguer non seulement l'objet et le fond, mais aussi différentes zones au sein de l'objet lui-même. Pour les humains, une telle limite naturelle apparaît souvent comme la transition entre la peau et les vêtements. Ce n'était pas un objectif d'entraînement séparé, mais c'est devenu une conséquence logique de la stratégie choisie.

D'où vient la segmentation

Le résultat le plus curieux du journal est l'embryon de segmentation qui semble surgir de lui-même. Les auteurs n'enseignent pas directement au modèle le concept de « peau » et ne lui donnent pas la tâche de colorier un visage selon un masque. Mais lorsque le système cherche des patches maximalement contrastants et stables, il s'accroche inévitablement aux limites entre la peau exposée, les cheveux, les vêtements et l'arrière-plan. Au sein de l'objet « être humain », les vêtements deviennent un diviseur naturel, et la peau devient une région suffisamment uniforme pour que le modèle commence à la percevoir comme une classe visuelle séparée.

Il est important de noter que ce n'est pas encore une segmentation complète au sens pratique. Il ne s'agit pas d'un modèle prêt qui pourrait remplacer les solutions spécialisées, mais d'un effet secondaire de la représentation. Mais précisément ces effets suggèrent souvent où orienter l'architecture ensuite. Si un schéma simple d'associations locales génère déjà une division interne de l'objet, l'étape suivante pourrait impliquer une segmentation moins chère et plus précise sans surcharge lourde. D'où la formulation sur le résultat « presque gratuit » : la nouvelle capacité apparaît non pas comme un module séparé coûteux, mais comme une conséquence de la simplification déjà effectuée.

Ce que cela signifie

L'histoire TAPe montre quelque chose d'important : en vision par ordinateur, toute amélioration ne nécessite pas un modèle plus grand. Parfois, abandonner un bloc complexe offre un double avantage—cela réduit le coût du système et révèle les nouvelles propriétés de la représentation. Si cet effet est confirmé lors des itérations ultérieures, Habr AI pourrait parvenir à un chemin plus compact de la détection à la segmentation.