Método FDSML com fractais eleva o Recall@1 no Stanford Cars de 56,2% para 78,4%

Um grupo de pesquisadores do Instituto Nacional de Ciência e Tecnologia Industrial Avançada do Japão (AIST) e do Instituto de Ciência e Engenharia da Universidade Waseda propôs uma forma de pré-treinar modelos de visão computacional sem nenhuma imagem real e, ainda assim, obter embeddings de melhor qualidade. O método se chama FDSML (Formula-Driven Supervised Metric Learning). Na ResNet-50, ele eleva o Recall@1 no Stanford Cars de 56,2% para 78,4% e, no Stanford Online Products, de 65,6% para 74,0%, em comparação com o pré-treinamento clássico baseado em fórmulas (FDSL).

Por que a classificação de fractais esbarra em um teto

O FDSL é uma abordagem em que as imagens e os rótulos são gerados a partir de regras matemáticas. O exemplo mais conhecido é o FractalDB: os fractais são construídos com IFS (sistemas de funções iteradas, um conjunto de transformações afins contrativas), e a classe é definida por um conjunto de parâmetros. Esse tipo de dado sintético dispensa rotulagem manual, não tem problemas de licenciamento nem de privacidade e não herda os vieses sociais de datasets reais.

O ponto fraco é que o treinamento se reduz a classificação. O espaço contínuo de parâmetros é fatiado em classes discretas, e a informação sobre quais fractais são mais parecidos entre si se perde. Na avaliação dos autores, o modelo acaba sofrendo overfitting em texturas geométricas locais de baixo nível. Daí os sintomas: as representações diferem das obtidas com dados reais, os modelos são sensíveis a desfoque e, em alguns domínios-alvo, perdem para o treinamento do zero. Isso aparece com mais força na busca por imagens, em que importa a geometria do espaço de características, e não as fronteiras entre classes.

Como funciona o FDSML

O método tem duas partes. A primeira é o dataset FineFractalDB. No FractalDB-1k original, cada classe tem 1000 exemplares, mas todos vêm de apenas 25 perturbações paramétricas, com reflexões e variações de renderização, o que deixa pouca diversidade dentro da classe. Além disso, as transformações nem sempre eram estritamente contrativas, e parte das imagens "colapsava" em manchas pouco informativas. No FineFractalDB, o número de perturbações independentes por classe foi levado a 1000, foi imposta uma restrição rígida de contratividade às transformações e foi adicionada uma etapa de descarte: amostras em que menos de 0,05% dos pixels estão ocupados são eliminadas.

A segunda parte é a Parameter-Aware Triplet (PA-Triplet) Loss. Trata-se de uma triplet loss padrão, com âncora, positivo e negativo, mas os papéis não são atribuídos pelos rótulos de classe, e sim pela distância no espaço de parâmetros do IFS. Para cada imagem, calcula-se um descritor compacto: a esperança matemática ponderada dos parâmetros afins. Entre dois candidatos, o positivo é aquele cujo descritor está mais próximo da âncora. Os autores ressaltam que a distância é usada apenas de forma ordinal: ela decide quem está mais perto e não pretende ser uma métrica perceptual.

As classes discretas continuam, porém, como um filtro grosseiro. Em experimentos preliminares, verificou-se que, quando a distância entre os parâmetros é grande demais, os fractais ficam tão diferentes que a comparação se torna trivial e não ensina nada. Por isso, os candidatos são limitados a um de quatro modos: sem restrições, um da mesma classe e outro de classe diferente, ambos da classe da âncora ou ambos de outras classes. Em qualquer caso, a decisão final sobre positivo e negativo cabe à distância entre os parâmetros.

O que os experimentos mostraram e quais são as limitações

Além da busca por imagens, o FDSML mantém competitividade em classificação downstream e aumenta a robustez a diversas distorções. Na ResNet-50, a melhora de robustez é confirmada, mas, para o ViT, os autores falam abertamente em compromissos que dependem da arquitetura: não há ganho inequívoco. Também são descritas diferenças qualitativas nos mapas de ativação e de atenção, embora o texto disponível não traga detalhes sobre elas.

Ainda há questões em aberto. Os números apresentados se referem à comparação com o pré-treinamento FDSL, e não com modelos treinados em dados reais, como o ImageNet. O método foi testado em fractais sintéticos, e não se sabe até que ponto a ideia de usar um sinal ordinal extraído dos parâmetros se transfere para outros geradores baseados em fórmulas. Para quem trabalha com o tema, a conclusão é a seguinte: se o pré-treinamento sintético é necessário para tarefas de busca e ranqueamento, os parâmetros contínuos de geração fornecem um sinal mais rico do que os rótulos de classe. A página do projeto está disponível em shineiarakawa.github.io/fdsml.