El modelo Mamba S²FI evalúa la calidad de la fruta a partir de vídeo: un dataset de 6460 clips

Los autores del preprint arXiv:2610.12868 proponen S²FI (Selective Spatio-Temporal Fruit Inspector), una arquitectura para clasificar fruta por calidad que analiza la pieza en movimiento y no una sola imagen. El codificador se basa en convoluciones 3D y el núcleo del modelo es Mamba, con complejidad lineal respecto a la longitud de la secuencia. El equipo ha reunido su propio dataset de 6 460 muestras de vídeo grabadas en la cinta y asegura que, en el conjunto de prueba reservado, su método supera a los modelos de referencia con los que se compara. Una salvedad clave: el resumen no ofrece valores concretos de precisión ni de latencia, así que habrá que buscarlos en el texto completo del trabajo.

La brecha entre la clasificación manual y las líneas caras

Los autores plantean el problema sin rodeos. Los grandes sistemas inteligentes de clasificación resultan demasiado caros para los productores pequeños y medianos de frutas y hortalizas. La clasificación manual sale más barata, pero tiene tres problemas: baja productividad, criterios que varían de una persona a otra y una elevada necesidad de mano de obra. Entre ambos extremos queda un nicho vacío, y es el que S²FI intenta ocupar: un sistema de aprendizaje profundo barato y ligero, que se pueda desplegar con rapidez en una explotación pequeña.

Cómo funciona el modelo

La idea central es que un solo fotograma muestra mal el estado de la fruta. Un defecto puede estar en la cara opuesta, o quedar tapado en un fotograma concreto por una pieza vecina o por un elemento de la cinta. Por eso la fruta se hace girar y el modelo recibe un fragmento de vídeo.

El esquema de procesamiento es el siguiente:

• Un codificador convolucional 3D extrae características espaciotemporales del clip.
• El backbone Mamba, es decir, un modelo de espacio de estados, modela las dependencias de largo alcance entre fotogramas con complejidad lineal. En el self-attention clásico la complejidad crece de forma cuadrática, y en dispositivos embebidos esa diferencia es notable.
• Un mecanismo selectivo pondera de forma adaptativa los fotogramas informativos durante la rotación. Los fotogramas con desenfoque u oclusión reciben menos peso.

Según los autores, este enfoque reduce el efecto del motion blur y de las oclusiones, los dos grandes enemigos de la visión por computador en una cinta en movimiento.

Hardware y datos

Una parte aparte del trabajo se dedica a la plataforma de hardware. Se basa en una cinta doble y una guía curva: la fruta avanza por un raíl, gira y entra en el campo de visión de la cámara. La estructura se diseñó para funcionar con la red eléctrica doméstica, desplegarse rápido y ejecutar inferencia embebida ligera.

Parámetros principales del resumen:

• Arquitectura: codificador 3D-CNN + backbone Mamba
• Entrada: vídeo de la fruta en rotación
• Dataset: 6 460 muestras de vídeo grabadas en la cinta
• Evaluación: conjunto de prueba reservado, comparación con modelos de referencia
• Alimentación: red eléctrica doméstica
• Modo objetivo: despliegue embebido ligero

El dataset es, por sí mismo, una parte importante de la aportación. Hay pocos conjuntos públicos de vídeo para evaluar la calidad de la fruta en cinta, y una colección propia de 6 460 muestras ofrece un punto de comparación reproducible, siempre que los autores la publiquen. El resumen no dice nada al respecto.

Qué conviene comprobar antes de celebrarlo

La afirmación de que ofrece «el mejor equilibrio entre precisión, velocidad y practicidad» suena convincente, pero por ahora sigue siendo palabra de los autores. Para valorar la utilidad práctica, conviene fijarse en varios puntos del texto completo:

• En qué dispositivo embebido concreto se midió la velocidad y qué rendimiento se obtuvo, en piezas de fruta por minuto.
• Qué cultivos y qué tipos de defectos incluye el dataset. Un modelo entrenado con una especie de fruta no siempre se transfiere a otra.
• Qué tan robusto es el resultado ante cambios de iluminación y de cámara: en los almacenes reales, la luz rara vez coincide con la del laboratorio.
• Si se han publicado el código, los pesos y los datos.

Para el agricultor, la conclusión es sencilla. Si las cifras del artículo se confirman, una línea de clasificación alimentada desde la red doméstica y con un procesador compacto sería una alternativa realista a un equipo de clasificadores. Para los ingenieros, lo más interesante es otra cosa: Mamba, aplicado a un problema práctico en hardware embebido, muestra dónde la complejidad lineal da una ventaja real, más allá de una línea vistosa en una tabla de benchmarks. El siguiente paso es una verificación independiente con otros cultivos y en condiciones de campo.