El método FDSML con fractales eleva el Recall@1 en Stanford Cars del 56,2% al 78,4%

Un grupo de investigadores del Instituto Nacional de Ciencia y Tecnología Industrial Avanzada de Japón (AIST) y del Instituto de Ciencia e Ingeniería de la Universidad de Waseda ha propuesto una forma de preentrenar modelos de visión por computador sin ninguna imagen real y, aun así, obtener mejores embeddings. El método se llama FDSML (Formula-Driven Supervised Metric Learning). En un ResNet-50, eleva el Recall@1 en Stanford Cars del 56,2% al 78,4% y en Stanford Online Products del 65,6% al 74,0%, frente al preentrenamiento clásico basado en fórmulas (FDSL).

Por qué la clasificación de fractales choca con un techo

FDSL es un enfoque en el que las imágenes y sus etiquetas se generan a partir de reglas matemáticas. El ejemplo más conocido es FractalDB: los fractales se construyen mediante IFS (sistemas de funciones iteradas, un conjunto de transformaciones afines contractivas) y la clase queda definida por un conjunto de parámetros. Este tipo de datos sintéticos no requiere etiquetado manual, no plantea problemas de licencias ni de privacidad y no hereda los sesgos sociales de los datasets reales.

El punto débil es que el entrenamiento se reduce a clasificar. El espacio continuo de parámetros se fragmenta en clases discretas y se pierde la información sobre qué fractales se parecen más entre sí. Según los autores, el modelo acaba sobreajustándose a texturas geométricas locales de bajo nivel. De ahí los síntomas: las representaciones difieren de las que se obtienen con datos reales, los modelos son sensibles al desenfoque y, en algunos dominios objetivo, rinden peor que el entrenamiento desde cero. Esto se nota sobre todo en la búsqueda de imágenes, donde importa la geometría del espacio de características y no las fronteras entre clases.

Cómo funciona FDSML

El método tiene dos partes. La primera es el dataset FineFractalDB. En el FractalDB-1k original hay 1000 ejemplares por clase, pero proceden de solo 25 perturbaciones paramétricas, con reflejos y variaciones de renderizado, de modo que dentro de cada clase hay poca diversidad. Además, las transformaciones no siempre eran estrictamente contractivas y parte de las imágenes se «colapsaba» en manchas con poca información. En FineFractalDB, el número de perturbaciones independientes se elevó a 1000 por clase, se impuso una restricción estricta de contractividad a las transformaciones y se añadió un filtro: se descartan las muestras en las que está ocupado menos del 0,05% de los píxeles.

La segunda parte es la Parameter-Aware Triplet (PA-Triplet) Loss. Es una pérdida triplete estándar, con ancla, positivo y negativo, pero los papeles no se asignan por etiquetas de clase, sino por la distancia en el espacio de parámetros IFS. Para cada imagen se calcula un descriptor compacto: la esperanza matemática ponderada de los parámetros afines. De dos candidatos, el positivo es aquel cuyo descriptor queda más cerca del ancla. Los autores subrayan que la distancia se usa solo de forma ordinal: decide cuál está más cerca y no pretende ser una métrica perceptual.

Las clases discretas se mantienen, pero como filtro grueso. En experimentos preliminares se comprobó que, cuando la distancia entre parámetros es demasiado grande, los fractales difieren tanto que la comparación resulta trivial y no enseña nada. Por eso los candidatos se limitan a uno de cuatro modos: sin restricciones, uno de la misma clase y otro de una clase distinta, ambos de la clase del ancla o ambos de otras clases. En cualquier caso, la decisión final sobre el positivo y el negativo la toma la distancia entre parámetros.

Qué muestran los experimentos y dónde están las limitaciones

Además de la búsqueda de imágenes, FDSML se mantiene competitivo en clasificación downstream y mejora la robustez frente a varias distorsiones. En el ResNet-50 la mejora de robustez está confirmada, pero con ViT los autores hablan abiertamente de compromisos que dependen de la arquitectura: allí no hay una ganancia clara. También se describen diferencias cualitativas en los mapas de activación y de atención, aunque el texto disponible no ofrece detalles.

Quedan además preguntas abiertas. Las cifras se refieren a la comparación con el preentrenamiento FDSL, no con modelos entrenados con datos reales como ImageNet. El método se ha probado con fractales sintéticos y no se sabe hasta qué punto la señal ordinal extraída de los parámetros se trasladará a otros generadores basados en fórmulas. La conclusión para los profesionales es esta: si se necesita preentrenamiento sintético para tareas de búsqueda y ranking, los parámetros continuos de generación aportan una señal más rica que las etiquetas de clase. La página del proyecto está disponible en shineiarakawa.github.io/fdsml.