Divisão de imagens em blocos elevou o AP de defeitos pequenos em 9,4%, mas triplicou o tempo de análise

Uma pequena lasca na fotografia original ainda é visível a olho nu. Depois de reduzir a imagem ao tamanho de entrada da rede neural, restam poucos pixels e, no mapa de características, uma ou duas células. Para o detector, isso já quase não é um objeto, e sim ruído. Uma ideia simples — cortar o quadro em fragmentos e ampliar cada um — realmente ajuda. Mas ela tem um lado ruim: enquanto os defeitos pequenos ficam mais visíveis, os grandes se desfazem em pedaços.

O autor do experimento testou esse compromisso em 1812 fotografias de produção de danos em automóveis. Com tamanho de entrada de 512, cerca de 41% dos defeitos ficavam menores que oito pixels. Entre as peças da carroceria, esses objetos eram apenas 1,6%. Por isso a métrica única parecia razoável: objetos grandes e simples mascaravam uma qualidade quase nula nos menores.

O que a divisão em blocos entregou

O teste mais barato não exigiu novo treinamento. Uma Mask R-CNN já pronta foi executada separadamente em fragmentos da imagem; depois, as máscaras encontradas foram devolvidas às coordenadas do quadro completo e as duplicatas foram removidas. O AP em objetos pequenos subiu 9,4% e o mIoU, 8,8%. O resultado é coerente com a ideia do SAHI: ampliar regiões locais devolve ao detector detalhes que somem no redimensionamento comum.

O custo se mostrou bem concreto. Cada imagem levava de 3 a 4 vezes mais tempo para ser processada, pois o modelo passava por cada fragmento separadamente. Para uma verificação offline de fotos, isso pode ser aceitável. Para um fluxo de vídeo ou uma linha de produção, não, até que a equipe otimize o tamanho dos fragmentos, a sobreposição e o número de execuções do modelo.

Em seguida, o autor refinou a rede com dados divididos em blocos. Nos fragmentos, a qualidade melhorou, mas no quadro completo o modelo ficou pior que o original. O motivo é simples: treinamento e avaliação ocorreram em escalas diferentes. A rede se acostumou a recortes ampliados e deixou de funcionar com segurança na imagem normal.

A tentativa de treinar quase exclusivamente com fragmentos muito ampliados terminou ainda pior: o AP geral no quadro completo caiu cerca de um terço e o recall, pela metade. Quando uma mistura de quadros completos e fragmentos de várias escalas voltou ao treinamento, a queda quase desapareceu. Os defeitos pequenos melhoraram bastante, mas a qualidade nos grandes caiu cerca de pela metade.

Por que o AP geral engana

Uma amassado grande em um fragmento não parece um objeto inteiro, e sim um pedaço sem limites naturais. A anotação, além disso, é cortada na borda do bloco. Na inferência, um defeito grande pode virar várias máscaras que o NMS ou o NMM comuns não unirão: as partes vizinhas quase não se sobrepõem e, portanto, seu IoU é baixo demais.

É justamente por isso que o aumento da métrica geral não pode ser considerado uma vitória. Se o teste tem muitos detalhes pequenos da carroceria, a melhora neles compensa a regressão em danos grandes. Sem separar o AP por tamanho, a equipe pode lançar um modelo com uma média bonita que resolve pior uma parte importante da tarefa real.

Há também uma limitação estatística. Algumas classes são representadas por poucos exemplos, e a variação entre execuções independentes nos menores objetos é comparável à própria melhora. O AP médio das oito classes de defeitos ainda não superou o modelo base. É um experimento de engenharia útil, mas não prova uma vantagem universal do tiling.

O que verificar nos seus próprios dados

Antes de treinar, calcule os tamanhos dos objetos após o redimensionamento usado em produção. Se apenas alguns por cento ficam menores que alguns pixels, a divisão provavelmente acrescentará computação e erros nas bordas sem benefício perceptível.

Se o problema é real, comece com a divisão apenas na inferência, sobre um modelo pronto. Assim você vê rapidamente o ganho potencial sem um ciclo de treinamento caro. Depois compare separadamente o quadro completo e os blocos, calcule o AP para objetos pequenos, médios e grandes e meça o recall nas bordas dos fragmentos.

Não retire os quadros completos do treinamento. Misture escalas e teste o modelo exatamente nos modos em que ele vai operar. Meça separadamente quantos objetos grandes se dividiram em duas ou mais máscaras. A conclusão prática não é que os quadros sempre devam ser cortados, e sim que a escala faz parte do contrato do modelo. Ela precisa ser testada com o mesmo cuidado que a arquitetura e a anotação.