Investigadores comparan la atención de CNN, ViT y Mamba con la mirada humana

Un equipo de autores midió hasta qué punto la atención de tres familias de modelos de visión coincide con el lugar al que mira realmente una persona. La comparación incluyó redes convolucionales (CNN), Vision Transformer (ViT) y Vision Mamba (ViM). Las evaluaron en tres clases de tareas: clasificación de grano fino, imagen médica y reconocimiento de emociones. Como referencia usaron datos de seguimiento ocular (eye tracking) y midieron la similitud con tres métricas. El trabajo se publicó en arXiv con el número 2610.12703.

Cómo se midió la coincidencia

La mayoría de los estudios de interpretabilidad siguen siendo cualitativos: los autores muestran mapas de calor llamativos y sacan conclusiones a ojo. Aquí tomaron otro camino. Los mapas de atribución post-hoc y los mapas de calor de la mirada se llevan a un formato común mediante un pipeline de normalización estandarizado. Al final, ambos son distribuciones de probabilidad espaciales y pueden compararse directamente. Para cada arquitectura se aplicaron métodos XAI propios, porque lo que sirve para una convolución se transfiere mal a la atención de un transformer o a los bloques state-space de Mamba.

La similitud se calculó con tres medidas complementarias:

• Jensen-Shannon similarity: cuánto coinciden los soportes, es decir, las zonas donde ambos mapas tienen algo de masa;
• Chi-square similarity: cuánto difiere la distribución de la masa entre píxeles;
• correlación de Pearson: si coincide la estructura, es decir, si los valores suben y bajan en los mismos lugares.

Cada métrica cubre el punto ciego de las otras. Una sola cifra no basta para sacar una conclusión rigurosa, y en eso se apoyan los resultados más interesantes.

Tres maneras de mirar una imagen

En promedio, las CNN muestran un foco más global. Sus mapas de saliencia están espacialmente difuminados, pero en escenas generales correlacionan bien con la percepción humana. Las personas también abarcan primero la escena completa, y por eso las redes convolucionales se les parecen.

Los ViT funcionan de otra manera. Su atención es fragmentada, a nivel de parche, y suele anclarse en microrrasgos discriminativos: una textura pequeña, un detalle del plumaje, el borde de un objeto. Para clasificar es una estrategia razonable, pero no tiene por qué coincidir con la forma en que mira una persona.

El caso menos obvio es Mamba. Resulta bien explicable en tareas médicas, pero en imágenes naturales las distribuciones de intensidad divergen de las humanas. Los autores muestran que la causa se aprecia en las propias métricas: una intersección de soportes casi total se combina con una correlación lineal prácticamente nula. En pocas palabras, el modelo ilumina las mismas zonas que la persona, pero reparte el «peso» dentro de ellas de otra forma. Si solo se mira la intersección, Mamba parece excelente. Si solo se mira la correlación, parece mala. La realidad es que ambas métricas describen aspectos distintos de una misma imagen.

Por separado, los autores comprobaron cómo influyen en la interpretabilidad el congelado del backbone y las estrategias de ensamble. El resumen (abstract) solo ofrece una conclusión general: las decisiones de arquitectura y de entrenamiento cambian de forma notable la concordancia entre el mapa de saliencia del modelo y la atención humana. No incluye cifras concretas; habrá que buscarlas en el texto completo del artículo.

Conclusiones prácticas

Para los equipos que construyen modelos en medicina y en otros ámbitos donde un error sale caro, la conclusión es sencilla: la elección de arquitectura influye no solo en la precisión, sino también en lo verificables que son las explicaciones. Un mapa de calor, por sí solo, no demuestra nada. Hay que contrastarlo con una referencia y, mejor aún, con varias métricas a la vez.

La lista de comprobación práctica que se desprende del trabajo:

• no depender de una sola métrica de similitud: la intersección de zonas y la correlación pueden dar señales opuestas;
• elegir el método XAI según la arquitectura, en lugar de aplicar el mismo a todos los modelos;
• verificar las explicaciones por separado en cada dominio: Mamba, a juzgar por los resultados, se comporta de manera distinta en imágenes médicas y en imágenes naturales;
• recalcular la concordancia después de congelar el backbone o de montar un ensamble.

La limitación del enfoque es evidente: coincidir con la mirada humana no equivale a decidir correctamente. Un modelo puede mirar de otra manera y tener razón. Aun así, como herramienta de auditoría en ámbitos regulados, la comparación cuantitativa con eye tracking parece claramente más fiable que evaluar los mapas «a ojo».