Comment un réseau de neurones évalue la qualité des descriptions d'images

Pour vérifier dans quelle mesure votre réseau de neurones décrit bien les images, reconnaît des documents ou analyse des diagrammes, il faut un système de vérification fiable. AWS a présenté Strands Evals, un évaluateur multimodal qui voit non seulement la réponse du modèle, mais aussi l'image elle-même.

Pourquoi les évaluateurs textuels ne conviennent-ils pas aux réseaux

de neurones qui travaillent avec des images ? Les évaluateurs textuels comparent la réponse du modèle à une réponse de référence, mais ne voient pas l'image. Un évaluateur multimodal vérifie si la description contient des détails exacts de la photo et si les données ont été correctement extraites.