Нейросеть для распознавания объектов на планшете: F1-score 94% за 20 мс
YADRO рассказала, как научила планшет KVADRA_T одновременно видеть человека, документ, текст, QR и штрихкоды в одном кадре. Вместо обычной multiclass-схемы команда выбрала multi-label подход, собрала датасет на 193 тысячах изображений и получила F1-score 94%. На NPU планшета инференс занимает около 20 мс, а функция должна попасть в следующий релиз kvadraOS.
AI-обработка оригинала Habr AI; редакция Hamidun News
YADRO разработала нейросеть для распознавания одновременно человека, документа, текста, QR- и штрихкодов на планшете KVADRA_T, достигнув показателя F1-score 94% и скорости обработки 20 миллисекунд прямо на устройстве. Компания объясняет, что обычная multiclass-классификация здесь не подходила по самой природе задачи, поскольку на одном снимке могут одновременно находиться несколько объектов разных типов, поэтому потребовалась multi-label модель.
Почему обычная классификация не подходит для распознавания нескольких объектов?
На одном снимке одновременно могут находиться человек, паспорт, строки текста и коды для сканирования, а классическая multiclass-классификация предполагает, что объект принадлежит только одному классу. Для этой задачи требуется multi-label модель, которая распознаёт все объекты одновременно.
Как нейросеть обрабатывает данные за 20 мс на планшете без облака?
Модель оптимизирована для запуска прямо на устройстве (on-device inference), что позволяет обрабатывать кадры за 20 миллисекунд без подключения к интернету — это требование для практического применения на мобильных устройствах.
Хотите не читать про ИИ, а внедрить его?
«AI News» — это полезные новости из мира ИИ. Системно научиться работать с нейросетями и применять их в работе — в Hamidun Academy.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.