Нейросеть для распознавания объектов на планшете: F1-score 94% за 20 мс

YADRO рассказала, как научила планшет KVADRA_T одновременно видеть человека, документ, текст, QR и штрихкоды в одном кадре. Вместо обычной multiclass-схемы команда выбрала multi-label подход, собрала датасет на 193 тысячах изображений и получила F1-score 94%. На NPU планшета инференс занимает около 20 мс, а функция должна попасть в следующий релиз kvadraOS.

AI-обработка оригинала Habr AI; редакция Hamidun News
Нейросеть для распознавания объектов на планшете: F1-score 94% за 20 мс
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью

YADRO разработала нейросеть для распознавания одновременно человека, документа, текста, QR- и штрихкодов на планшете KVADRA_T, достигнув показателя F1-score 94% и скорости обработки 20 миллисекунд прямо на устройстве. Компания объясняет, что обычная multiclass-классификация здесь не подходила по самой природе задачи, поскольку на одном снимке могут одновременно находиться несколько объектов разных типов, поэтому потребовалась multi-label модель.

Почему обычная классификация не подходит для распознавания нескольких объектов?

На одном снимке одновременно могут находиться человек, паспорт, строки текста и коды для сканирования, а классическая multiclass-классификация предполагает, что объект принадлежит только одному классу. Для этой задачи требуется multi-label модель, которая распознаёт все объекты одновременно.

Как нейросеть обрабатывает данные за 20 мс на планшете без облака?

Модель оптимизирована для запуска прямо на устройстве (on-device inference), что позволяет обрабатывать кадры за 20 миллисекунд без подключения к интернету — это требование для практического применения на мобильных устройствах.

Сюжет

Вопросы и ответы по материалу

Почему обычная классификация не подходит для распознавания нескольких объектов?

На одном снимке одновременно могут находиться человек, паспорт, строки текста и коды для сканирования, а классическая multiclass-классификация предполагает, что объект принадлежит только одному классу. Для этой задачи требуется multi-label модель, которая распознаёт все объекты одновременно.

Как нейросеть обрабатывает данные за 20 мс на планшете без облака?

Модель оптимизирована для запуска прямо на устройстве (on-device inference), что позволяет обрабатывать кадры за 20 миллисекунд без подключения к интернету — это требование для практического применения на мобильных устройствах.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Образовательная экосистема

Системное обучение работе с ИИ и AI-агентами

Образовательная платформа Vibe Academy (vibe-academy.ru) — практические курсы, промпт-инжиниринг, автоматизация процессов и прикладные AI-воркфлоу.

Перейти в Vibe Academy →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…