NVIDIA Open-SWE-Traces : constituer des données pour affiner des agents de programmation

NVIDIA a ouvert le dataset Open-SWE-Traces, une collection de sessions multitours réelles d'agents IA qui résolvent des tâches de développement logiciel. Le tutoriel détaille le pipeline complet, du streaming des données jusqu'à un jeu prêt pour le fine-tuning supervisé (SFT).

Qu'est-ce qu'Open-SWE-Traces

Le dataset contient des milliers de trajectoires d'agents. Chacune est l'enregistrement complet d'une session où l'IA reçoit une tâche d'ingénierie, appelle des outils étape par étape (lecture de fichiers, exécution de tests, recherche dans le code), itère sur la solution et produit un patch final. C'est très différent des datasets classiques de questions-réponses : on y consigne non seulement ce qui a fonctionné, mais aussi la manière dont l'agent y est parvenu.

Chaque enregistrement comprend des métadonnées structurées :

• longueur de la trajectoire : nombre d'étapes de l'agent
• liste des outils utilisés et fréquence des appels
• taille du diff final en lignes de code
• langage de programmation de la tâche
• indicateur de résolution réussie ou non

Les données sont hébergées sur Hugging Face et prennent en charge le streaming. Dans Google Colab, on peut travailler avec le dataset sans le télécharger intégralement, ce qui compte pour des volumes de plusieurs gigaoctets.

Comment le pipeline est construit

Le tutoriel traverse plusieurs étapes de traitement.

La première est la normalisation des dialogues. Les sessions multitours de l'agent sont ramenées à un format unique : les messages de l'utilisateur, les réponses de l'agent et les appels d'outils sont alignés en une séquence. C'est nécessaire, car les différentes versions d'agents journalisent les sessions de façon différente.

La deuxième est l'analyse des patchs. On extrait de la sortie finale de l'agent le code des modifications au format unified diff. Ce patch devient la « réponse » de l'exemple d'entraînement.

La troisième est la construction d'un DataFrame analytique. Pour chaque trajectoire, on calcule des métriques clés : budgets de tokens aux différentes étapes du travail de l'agent, répartition par outil, statistiques de réussite par langage et par type de tâche.

Filtrage pour le SFT

La dernière étape consiste à sélectionner les exemples d'entraînement. Les auteurs appliquent une chaîne de filtres.

Par étiquette de réussite : seules les trajectoires avec une résolution réussie entrent dans le jeu. Entraîner sur des sessions ratées sans annotation spécifique est risqué : le modèle assimilera des schémas erronés.

Par tokens : les trajectoires dépassant une limite fixée sont écartées. Les exemples trop longs ne tiennent pas dans le contexte avec les paramètres d'entraînement standard.

Par langage : si l'on veut un agent spécialisé en Python ou en JavaScript, le filtrage ne conserve que les exemples pertinents.

Par présence d'un patch : les sessions sans code final sont inutiles pour le SFT, où le modèle doit apprendre à produire un résultat concret.

« La qualité des données d'entraînement compte plus que la quantité, surtout pour les traces

d'agents, où les sessions ratées peuvent ancrer de mauvais schémas dans le modèle ».

Ce que cela signifie

Open-SWE-Traces de NVIDIA est l'un des premiers datasets publics de trajectoires réelles d'agents pour des tâches d'ingénierie. Le tutoriel fournit un modèle fonctionnel : des données brutes sur Hugging Face à un jeu SFT prêt en quelques lignes de code. Pour les équipes qui construisent leurs propres agents de programmation, c'est un point de départ prêt à l'emploi, sans besoin de collecter les données à partir de zéro.