Нейросеть для детекции: как отказались от трансформеров

Habr AI создали нейросеть для детекции, которая работает без трансформеров — с более лёгкой архитектурой и меньшими затратами на вычисления. Модель отказалась от глобальных связей между визуальными фрагментами в пользу локальных, и упрощение дало неожиданный побочный эффект — первые признаки сегментации кожи и одежды без отдельной разметки.

Почему нейросеть отказалась от трансформеров?

Потому что трансформеры дорого обходятся по числу параметров и вычислениям. Вместо них использовались локальные связи между патчами, что значительно снизило требования к вычислительным ресурсам.

Что получилось в результате оптимизации нейросети?

Упрощение модели не только сократило её размер и вычислительные требования, но и дало побочный эффект — модель начала распознавать сегментацию кожи и одежды без отдельной разметки данных.

Почему нейросеть картинки важна для бизнеса?

Она распознаёт объекты и сегментирует регионы изображений, но при этом работает дешевле благодаря отказу от трансформеров в пользу локальных связей между патчами.

Что получилось сегментировать без разметки?

Нейросеть стала различать кожу и одежду на изображениях как побочный эффект упрощения архитектуры.

Почему из нейросети убирают трансформеры?

Трансформеры требуют много параметров и вычислений. Habr AI перешли на локальные связи между патчами, чтобы сократить размер системы и вычислительные затраты.

Какой побочный эффект дала упрощённая архитектура нейросети?

Упрощение дало первые признаки сегментации кожи и одежды без отдельной разметки.