El corte de imágenes en mosaicos elevó el AP de defectos pequeños un 9,4 %, pero triplicó el tiempo de análisis

Un pequeño astillado en la fotografía original todavía se ve a simple vista. Tras reducir la imagen al tamaño de entrada de la red neuronal, quedan unos pocos píxeles y, en el mapa de características, una o dos celdas. Para un detector, eso ya casi no es un objeto, sino ruido. Una idea sencilla —cortar el fotograma en fragmentos y ampliar cada uno— realmente ayuda. Pero tiene un inconveniente: mientras los defectos pequeños se vuelven más visibles, los grandes se fragmentan.

El autor del experimento probó este equilibrio en 1812 fotografías de producción de daños en automóviles. Con un tamaño de entrada de 512, cerca del 41 % de los defectos pasaban a medir menos de ocho píxeles. Entre las piezas de la carrocería, tales objetos eran solo el 1,6 %. Por eso la métrica única parecía decente: los objetos grandes y sencillos ocultaban una calidad casi nula en los más pequeños.

Qué aportó el corte en mosaicos

La prueba más barata no requirió nuevo entrenamiento. Se ejecutó una Mask R-CNN ya entrenada por separado sobre fragmentos de la imagen, luego se devolvieron las máscaras halladas a las coordenadas del fotograma completo y se eliminaron los duplicados. El AP en objetos pequeños subió un 9,4 % y el mIoU un 8,8 %. El resultado concuerda con la idea de SAHI: ampliar regiones locales devuelve al detector detalles que desaparecen con un reescalado normal.

El coste resultó muy real. Cada imagen tardaba de 3 a 4 veces más en procesarse, porque el modelo recorría cada fragmento por separado. Para una revisión de fotos sin conexión puede ser aceptable. Para un flujo de vídeo o una línea de producción, no, mientras el equipo no optimice el tamaño de los fragmentos, el solapamiento y el número de ejecuciones del modelo.

Después, el autor reentrenó la red con datos troceados. En los fragmentos la calidad mejoró, pero en el fotograma completo el modelo empeoró respecto al original. La razón es simple: el entrenamiento y la evaluación se hicieron a escalas distintas. La red se acostumbró a trozos ampliados y dejó de funcionar con seguridad en la imagen normal.

El intento de entrenar casi exclusivamente con fragmentos muy ampliados terminó aún peor: el AP global en el fotograma completo cayó cerca de un tercio y la exhaustividad (recall), a la mitad. Cuando se devolvió al entrenamiento una mezcla de fotogramas completos y fragmentos de distintas escalas, el desplome casi desapareció. Los defectos pequeños mejoraron notablemente, pero la calidad en los grandes se redujo aproximadamente a la mitad.

Por qué el AP global engaña

Una abolladura grande en un fragmento no parece un objeto entero, sino un trozo sin límites naturales. El etiquetado, además, se corta en el borde del mosaico. En la inferencia, un defecto grande puede convertirse en varias máscaras que el NMS o el NMM habituales no fusionarán: las partes vecinas apenas se solapan y, por tanto, su IoU es demasiado bajo.

Precisamente por eso el aumento de la métrica global no debe considerarse una victoria. Si en la prueba hay muchos detalles pequeños de la carrocería, su mejora compensa la regresión en daños grandes. Sin desglosar el AP por tamaño, un equipo puede lanzar un modelo con una media atractiva que resuelve peor una parte importante de la tarea real.

Hay también una limitación estadística. Algunas clases están representadas por unos pocos ejemplos, y la dispersión entre ejecuciones independientes en los objetos más pequeños es comparable a la propia mejora. El AP medio de las ocho clases de defectos todavía no superó al modelo base. Es un experimento de ingeniería útil, pero no una prueba de la ventaja universal del tiling.

Qué comprobar con sus propios datos

Antes de entrenar, calcule los tamaños de los objetos tras el reescalado que se usa en producción. Si solo unos pocos por ciento quedan por debajo de unos pocos píxeles, el corte probablemente añadirá cálculo y errores en los bordes sin beneficio apreciable.

Si el problema es real, empiece con el corte solo en inferencia sobre un modelo ya listo. Así verá rápidamente la ganancia potencial sin un costoso ciclo de entrenamiento. Después compare por separado el fotograma completo y los mosaicos, calcule el AP para objetos pequeños, medianos y grandes, y mida la exhaustividad en los bordes de los fragmentos.

No elimine los fotogramas completos del entrenamiento. Mezcle escalas y pruebe el modelo exactamente en los modos en que funcionará. Mida aparte cuántos objetos grandes se dividieron en dos o más máscaras. La conclusión práctica no es que siempre haya que cortar los fotogramas, sino que la escala forma parte del contrato del modelo. Hay que probarla con el mismo cuidado que la arquitectura y el etiquetado.