TAPe sube la clasificación al 77% y se compara con YOLO en un subconjunto pequeño de COCO

La octava entrada del diario de TAPe no trata de una sola función, sino del ensamblaje de casi un esquema completo de detección: los autores mejoraron la segmentación, llevaron la clasificación al 77% y comprobaron qué ocurre al comparar el enfoque con YOLO en un subconjunto pequeño de COCO. Su conclusión provisional es optimista: el modelo ya empieza a funcionar en un escenario donde los detectores clásicos suelen necesitar bastantes más datos.

Segmentación por el borde

La principal novedad de esta etapa es la segmentación por parches contrastantes en el borde real del objeto, y no por un recuadro nominal a su alrededor. La idea es dividir la imagen en segmentos más naturales y luego construir el objeto a partir de ellos, en lugar de intentar adivinar de golpe un bounding box a partir de píxeles en bruto. Según los autores, esto mejoró rápidamente la fusión de parches y permitió formar segmentos más adecuados para cada objeto de la imagen.

En paralelo, el equipo probó otras soluciones de arquitectura: cabezas adicionales, otras formas de elegir segmentos similares y variantes de agregación más complejas. Pero esos enfoques no dieron el efecto esperado. La causa, según describen los autores, es que esos esquemas intentaban adaptar los datos de TAPe a una arquitectura habitual en vez de usarlos tal como son. En la práctica funcionó mejor un camino más directo: apoyarse en la estructura de las propias representaciones de TAPe y mejorar los vínculos entre parches.

Clasificación sin learning rate

El siguiente problema resultó más terrenal: algunos parches a veces no acababan en el segmento correcto. Si uno o varios fragmentos de la imagen no están asociados a un objeto, resulta difícil clasificarlos bien, porque al modelo le falta la respuesta a la pregunta de a qué pertenece exactamente ese trozo.

Para acercar el entrenamiento al comportamiento real del modelo, los autores empezaron a simular durante el entrenamiento el crecimiento paso a paso de un segmento a partir de un solo parche, es decir, a repetir la misma lógica que se usa en la inferencia. Esto ayudó a encontrar mejor las conexiones correctas entre parches, pero no eliminó todas las limitaciones. El problema restante son las regiones «que no crecen», cuando el segmento no reúne suficiente contexto y por ello se equivoca al clasificar. Para estos casos, TAPe ahora revisa además las áreas vecinas y suaviza el contexto.

Por separado, los autores describen otro objetivo de ingeniería importante: eliminar de forma sistemática los hiperparámetros que pueden romper el comportamiento del sistema. Uno de ellos fue el learning rate, al que en esta versión se renunció junto con el descenso de gradiente.

• La segmentación ahora se hace por parches contrastantes en el borde del objeto
• La clasificación subió al 77%
• Abandonar el learning rate aportó cerca de un 3% de precisión
• Los puntos más débiles por ahora son los segmentos pequeños y la falta de contexto
• El siguiente objetivo del equipo es alcanzar como mínimo el 80% de clasificación

Los autores señalan además una referencia del mercado: en las publicaciones sobre DETR aparece una precisión de clasificación de alrededor del 79%, aunque no queda del todo claro si incluyen los errores de la propia detección. Para TAPe esta cifra aún no es la meta final, sino la barra más cercana. Las pruebas completas sobre todo COCO siguen pendientes porque llevan mucho tiempo, pero ya se ve que la arquitectura es más estable y está mejor conectada con las tareas de self-supervised learning.

Primeras pruebas con YOLO

La parte más llamativa de la entrada es el primer benchmark directo contra YOLO. Para el experimento, los autores tomaron un pequeño recorte de COCO de 5 mil imágenes y lo dividieron en 70/30: 3500 fotogramas para entrenar y 1500 para probar. Para los detectores estándar, este volumen resultó críticamente escaso. En TAPe afirman que en este conjunto YOLO prácticamente no converge y que el nivel de detección se queda en torno al 1%.

«YOLO no converge en absoluto con el dataset que usamos para las pruebas».

Esta todavía no es la comparación final en mAP50, mAP50-95, velocidad y número de parámetros; los autores aún preparan una publicación aparte con benchmarks completos frente a YOLO y RF-DETR. Aun así, este resultado temprano importa porque muestra la tesis central del proyecto: TAPe aspira a ser no solo otro modelo de detección, sino una arquitectura capaz de trabajar con decenas de imágenes por clase donde los enfoques más habituales necesitan cientos de miles de ejemplos y una base preentrenada mucho más pesada.

Qué significa

Si TAPe confirma de verdad sus resultados con el conjunto completo de métricas, será un argumento sólido a favor de una visión por computador que apueste por la estructura de los datos y no solo por la escala. Para los equipos con datasets pequeños esto es especialmente importante: el coste de entrada a una detección de calidad podría reducirse de forma notable.