Mamba-модель S²FI оценивает качество фруктов по видео: датасет из 6460 роликов

Авторы препринта arXiv:2610.12868 предложили S²FI (Selective Spatio-Temporal Fruit Inspector) — архитектуру для сортировки фруктов по качеству, которая смотрит на плод в движении, а не на один снимок. Энкодер построен на 3D-свёртках, основа модели — Mamba с линейной сложностью по длине последовательности. Команда собрала собственный датасет из 6 460 видеообразцов с конвейера и утверждает, что на отложенной тестовой выборке её метод превосходит сравниваемые базовые модели. Ключевая оговорка: в аннотации нет конкретных значений точности или задержки, их придётся искать в полном тексте работы.

Разрыв между ручной сортировкой и дорогими линиями

Проблему авторы формулируют прямо. Крупные интеллектуальные сортировочные комплексы стоят слишком дорого для малых и средних производителей фруктов и овощей. Ручная сортировка обходится дешевле, но страдает по трём пунктам: низкая производительность, плавающие критерии у разных людей и высокая потребность в рабочей силе. Между этими полюсами остаётся пустая ниша, и именно её S²FI пытается занять: недорогая лёгкая система на глубоком обучении, которую можно быстро развернуть на небольшом хозяйстве.

Как устроена модель

Основная идея в том, что один кадр плохо показывает состояние плода. Дефект может сидеть на обратной стороне, а на конкретном кадре его закрывает соседний плод или конвейерная деталь. Поэтому плод вращают, а модель получает видеофрагмент.

Схема обработки выглядит так:

• 3D-свёрточный энкодер извлекает пространственно-временные признаки из клипа.
• Backbone на Mamba, то есть модели пространства состояний, моделирует дальние зависимости между кадрами с линейной сложностью. У классического self-attention сложность растёт квадратично, и для встраиваемых устройств это ощутимая разница.
• Селективный механизм адаптивно взвешивает информативные кадры во время вращения. Кадры со смазом или перекрытием получают меньший вес.

По словам авторов, такой подход уменьшает влияние motion blur и окклюзий, то есть двух главных врагов компьютерного зрения на движущемся конвейере.

Железо и данные

Отдельная часть работы посвящена аппаратной платформе. Она построена на двойном конвейере и изогнутой направляющей: плод проходит по рельсу, вращается и попадает в поле зрения камеры. Конструкцию проектировали под питание от бытовой сети, быстрое развёртывание и лёгкий embedded-инференс.

Основные параметры из аннотации:

• Архитектура: 3D-CNN-энкодер + Mamba-backbone
• Вход: видео вращающегося плода
• Датасет: 6 460 видеообразцов с конвейера
• Оценка: отложенная тестовая выборка, сравнение с базовыми моделями
• Питание: бытовая электросеть
• Целевой режим: лёгкое встраиваемое развёртывание

Датасет сам по себе заметная часть вклада. Публичных видеонаборов для оценки качества плодов на конвейере немного, и собственная коллекция на 6 460 образцов даёт воспроизводимую точку сравнения, если авторы её опубликуют. Об этом аннотация ничего не говорит.

Что проверить перед тем, как радоваться

Заявление «лучший баланс точности, скорости и практичности» звучит убедительно, но пока остаётся словами авторов. Для оценки практической пользы стоит смотреть на несколько вещей в полном тексте:

• На каком именно embedded-устройстве измеряли скорость и какая получилась пропускная способность в плодах в минуту.
• Какие культуры и какие типы дефектов вошли в датасет. Модель, обученная на одном виде фрукта, к другому переносится не всегда.
• Насколько результат устойчив к смене освещения и камеры: на реальных складах свет редко совпадает с лабораторным.
• Выложены ли код, веса и данные.

Для фермера вывод простой. Если цифры в статье подтвердятся, сортировочная линия на бытовом питании с компактным вычислителем станет реалистичной альтернативой бригаде сортировщиков. Для инженеров интереснее другое: Mamba в прикладной задаче на встраиваемом железе показывает, где линейная сложность даёт реальный выигрыш, а не просто красивую строку в таблице бенчмарков. Следующий шаг — независимая проверка на других культурах и в полевых условиях.