AllenAI lance olmo-eval pour évaluer les modèles pendant l'entraînement

AllenAI a lancé olmo-eval, un outil d'IA pour évaluer les modèles de langage pendant l'entraînement lui-même.

Qu'est-ce qu'olmo-eval et où le trouver ?

olmo-eval est une boîte à outils ouverte d'AllenAI pour évaluer les modèles de langage, intégrée à la boucle d'entraînement. Le projet est disponible sur Hugging Face et s'adresse aux chercheurs.

Pourquoi évaluer les modèles pendant l'entraînement ?

Le processus standard : le modèle s'entraîne pendant plusieurs jours ou semaines, puis il est évalué sur des benchmarks (ARC, HellaSwag, MMLU). olmo-eval permet aux chercheurs de voir comment la qualité du modèle évolue pendant l'entraînement, et pas seulement d'obtenir le résultat final.