Le modèle Mamba S²FI évalue la qualité des fruits par la vidéo : un jeu de données de 6460 clips

Les auteurs du preprint arXiv:2610.12868 proposent S²FI (Selective Spatio-Temporal Fruit Inspector), une architecture de tri des fruits par qualité qui observe le fruit en mouvement plutôt que sur un seul cliché. L'encodeur repose sur des convolutions 3D, et le cœur du modèle est Mamba, dont la complexité est linéaire en fonction de la longueur de la séquence.

L'équipe a constitué son propre jeu de données de 6 460 échantillons vidéo captés sur un convoyeur et affirme que, sur un jeu de test mis de côté, sa méthode surpasse les modèles de référence auxquels elle est comparée. Réserve essentielle : le résumé ne donne aucune valeur chiffrée de précision ni de latence ; il faudra les chercher dans le texte complet de l'article.

Entre le tri manuel et les lignes coûteuses

Les auteurs posent le problème sans détour. Les grands systèmes de tri intelligents coûtent trop cher pour les petits et moyens producteurs de fruits et légumes. Le tri manuel revient moins cher, mais il pèche sur trois points : faible productivité, critères variables d'une personne à l'autre et forte demande en main-d'œuvre. Entre ces deux pôles, il reste une niche vide, et c'est précisément celle que S²FI cherche à occuper : un système de deep learning léger et peu coûteux, déployable rapidement dans une petite exploitation.

Comment fonctionne le modèle

L'idée centrale est qu'une seule image rend mal compte de l'état d'un fruit. Un défaut peut se trouver sur la face cachée, ou être masqué, sur une image donnée, par un fruit voisin ou une pièce du convoyeur. C'est pourquoi le fruit est mis en rotation et le modèle reçoit un extrait vidéo.

Le traitement s'organise ainsi :

• Un encodeur convolutif 3D extrait les caractéristiques spatio-temporelles du clip.
• Un backbone Mamba, c'est-à-dire un modèle d'espace d'états, modélise les dépendances à longue portée entre les images avec une complexité linéaire. Avec le self-attention classique, la complexité croît de façon quadratique, ce qui représente une différence sensible pour les appareils embarqués.
• Un mécanisme sélectif pondère de façon adaptative les images informatives pendant la rotation. Les images floues ou occultées reçoivent un poids plus faible.

Selon les auteurs, cette approche atténue l'effet du motion blur et des occlusions, soit les deux principaux ennemis de la vision par ordinateur sur un convoyeur en mouvement.

Matériel et données

Une partie distincte du travail porte sur la plateforme matérielle. Elle repose sur un double convoyeur et un guide incurvé : le fruit avance sur un rail, tourne sur lui-même et entre dans le champ de la caméra. La structure a été conçue pour fonctionner sur le secteur domestique, se déployer rapidement et exécuter une inférence embarquée légère.

Principaux paramètres issus du résumé :

• Architecture : encodeur 3D-CNN + backbone Mamba
• Entrée : vidéo du fruit en rotation
• Jeu de données : 6 460 échantillons vidéo captés sur un convoyeur
• Évaluation : jeu de test mis de côté, comparaison avec des modèles de référence
• Alimentation : réseau électrique domestique
• Mode cible : déploiement embarqué léger

Le jeu de données constitue en soi une part notable de la contribution. Les jeux de données vidéo publics pour évaluer la qualité des fruits sur un convoyeur sont rares, et une collection maison de 6 460 échantillons offre un point de comparaison reproductible, si les auteurs la publient. Le résumé n'en dit rien.

Ce qu'il faut vérifier avant de s'enthousiasmer

L'affirmation d'un « meilleur équilibre entre précision, vitesse et aspect pratique » est convaincante, mais elle reste pour l'instant la parole des auteurs. Pour juger de l'utilité concrète, plusieurs points sont à examiner dans le texte complet :

• Sur quel appareil embarqué la vitesse a été mesurée, et quel débit en fruits par minute a été obtenu.
• Quelles cultures et quels types de défauts figurent dans le jeu de données. Un modèle entraîné sur une espèce de fruit ne se transpose pas toujours à une autre.
• Dans quelle mesure le résultat résiste à un changement d'éclairage et de caméra : dans les entrepôts réels, la lumière correspond rarement à celle du laboratoire.
• Si le code, les poids et les données sont publiés.

Pour l'agriculteur, la conclusion est simple. Si les chiffres de l'article se confirment, une ligne de tri alimentée sur le secteur domestique, avec une unité de calcul compacte, deviendra une alternative réaliste à une équipe de trieurs. Pour les ingénieurs, l'intérêt est ailleurs : sur une tâche appliquée et du matériel embarqué, Mamba montre où la complexité linéaire apporte un gain réel, et pas seulement une jolie ligne dans un tableau de benchmarks. La prochaine étape est une vérification indépendante sur d'autres cultures et en conditions réelles.