DSGym : un framework pour entraîner des agents de science des données sur 90+ tâches scientifiques

Together AI a publié DSGym, un framework unifié pour entraîner et évaluer des agents LLM qui exécutent des tâches de science des données. Il réunit 90+ tâches de bio-informatique issues de la littérature scientifique et 92 compétitions Kaggle. Un modèle 4B a été entraîné sur des données synthétiques et a obtenu des résultats SOTA parmi les solutions open-source. Le problème est que les benchmarks existants sont incompatibles et n'exigent pas de véritable analyse de données.