Дешёвая нейросеть картинки: отказ от трансформеров в пользу сегментации
Habr AI продолжает дневник TAPe-детекции и показывает неожиданный разворот: после отказа от трансформеров модель стала легче, а локальные связи между патчами начали давать эффект, похожий на сегментацию. Система не учится отдельно распознавать кожу, но всё равно начинает отделять её от одежды за счёт контрастных границ внутри объекта «человек», что делает эксперимент особенно любопытным для компьютерного зрения.
AI-обработка оригинала Habr AI; редакция Hamidun News
Habr AI представила более дешёвую нейросеть картинки: вместо энергозатратных трансформеров она использует локальные связи между визуальными фрагментами, и это позволило получить сегментацию изображений почти бесплатно.
Почему нейросеть отказалась от трансформеров?
Потому что трансформеры дорого обходятся по числу параметров и вычислениям. Вместо них использовались локальные связи между патчами, что значительно снизило требования к вычислительным ресурсам.
Что получилось в результате оптимизации нейросети?
Упрощение модели не только сократило её размер и вычислительные требования, но и дало побочный эффект — модель начала распознавать сегментацию кожи и одежды без отдельной разметки данных.
Почему нейросеть картинки важна для бизнеса?
Она распознаёт объекты и сегментирует регионы изображений, но при этом работает дешевле благодаря отказу от трансформеров в пользу локальных связей между патчами.
Что получилось сегментировать без разметки?
Нейросеть стала различать кожу и одежду на изображениях как побочный эффект упрощения архитектуры.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.