Habr AI: TAPe-детекция ушла от трансформеров и пришла к почти бесплатной сегментации

Команда Habr AI в седьмой записи дневника TAPe-детекции описала важный поворот: модель отказалась от трансформеров и перешла к более лёгкой схеме локальных связей между патчами. Парадокс в том, что упрощение не только сократило размер системы, но и дало неожиданный побочный эффект — первые признаки сегментации кожи и одежды без отдельной разметки.

Зачем убирать трансформеры В предыдущих версиях архитектуры

трансформеры брали на себя глобальные связи между визуальными фрагментами, но такая роскошь дорого обходится и по числу параметров, и по вычислениям. Для исследовательской системы это допустимо, а для практической детекции — не всегда. В Habr AI решили проверить, можно ли отказаться от тяжёлого механизма внимания и оставить только то, что действительно помогает собирать объект из наблюдаемых частей.

Судя по промежуточным результатам, этот шаг заметно облегчает модель, не ломая саму идею TAPe-представления. Смысл эксперимента не в том, чтобы объявить трансформеры ненужными. Скорее речь о том, что для некоторых задач компьютерного зрения локальные связи работают лучше, чем кажется, особенно если модель ищет самые информативные и контрастные фрагменты сцены.

Если объект можно описать через набор характерных патчей и их соседство, то часть глобальной сложности действительно можно убрать. Это делает обучение дешевле, а архитектуру — проще для анализа и дальнейших итераций.

Как связаны патчи

Вместо большого блока, который пытается смотреть на всё изображение сразу, модель строит локальные ассоциации между TAPe-патчами. То есть она связывает не абстрактные токены по всей картинке, а соседние или близкие по структуре участки, из которых постепенно складывается описание объекта. Такой подход ближе к инженерной логике: сначала найти опорные детали, затем понять, какие куски относятся друг к другу, и только потом собрать цельную картину.

Для детекции это особенно полезно, когда важны границы, контуры и наиболее выраженные визуальные переходы. Практический эффект авторы описывают так: модель требует меньше параметров, чем вариант с трансформером; вычислительная цена падает, поэтому экспериментировать с архитектурой проще; самые контрастные патчи начинают играть роль опорных точек для описания объекта; внутреннее представление становится понятнее: видно, какие локальные связи реально работают; * на сложных объектах вроде человека модель может выделять не только силуэт, но и внутренние границы. Именно последний пункт выглядит самым интересным.

Когда система опирается на контрастные области, она невольно начинает различать не только объект и фон, но и разные зоны внутри самого объекта. Для человека такой естественной границей часто оказывается переход между кожей и одеждой. Это не было отдельной целью обучения, но оказалось логичным следствием выбранной стратегии.

Откуда взялась сегментация

Самый любопытный результат дневника — зачаток сегментации, который возникает будто бы сам собой. Авторы прямо не учат модель понятию «кожа» и не ставят ей задачу раскрасить лицо по маске. Но когда система ищет максимально контрастные и устойчивые патчи, она неизбежно цепляется за границы между открытой кожей, волосами, одеждой и фоном.

Внутри объекта «человек» одежда становится естественным разделителем, а кожа — достаточно однородной областью, чтобы модель начала воспринимать её как отдельный визуальный класс. Важно, что это пока не полноценная сегментация в прикладном смысле. Речь не о готовой модели, которая может заменить специализированные решения, а о побочном эффекте представления.

Но именно такие эффекты часто подсказывают, куда двигать архитектуру дальше. Если простая схема локальных ассоциаций уже порождает внутреннее разбиение объекта, следующий шаг может быть связан с более дешёвой и точной сегментацией без тяжёлых надстроек. Отсюда и формулировка про «почти бесплатный» результат: новая способность появляется не как отдельный дорогостоящий модуль, а как следствие уже сделанного упрощения.

Что это значит

История с TAPe показывает важную вещь: в компьютерном зрении не каждое улучшение требует более крупной модели. Иногда отказ от сложного блока даёт двойную выгоду — снижает стоимость системы и открывает новые свойства представления. Если этот эффект подтвердится на следующих итерациях, у Habr AI может получиться более компактный путь от детекции к сегментации.