NVIDIA lance Polar, un framework pour entraîner des agents de code

NVIDIA a présenté Polar, un nouveau framework pour entraîner des agents de langage par reinforcement learning. Sa particularité : il fonctionne sans modifier les agent harnesses existants, ce qui en fait une solution universelle pour différents environnements et infrastructures.

Comment fonctionne Polar

L'une des principales difficultés de l'entraînement des agents IA est l'incompatibilité entre le training pipeline et les production harnesses. Il faut souvent choisir : soit modifier le harness pour répondre aux exigences de l'entraînement, soit renoncer aux meilleures méthodes de RL. Polar résout ce problème avec élégance.

Le framework agit comme un proxy d'API entre le harness et l'inference server. Il capture toutes les interactions au niveau du token et en reconstruit des trajectoires entièrement prêtes pour l'entraînement via GRPO. On peut ainsi utiliser des méthodes d'entraînement avancées directement avec des environnements existants comme Codex, Claude Code et Pi, sans changer une seule ligne de leur code.

Résultats sur SWE-Bench Verified

Les chercheurs de NVIDIA ont testé Polar sur Qwen3.5-4B, un modèle compact de 4 milliards de paramètres. Ce modèle est volontairement petit, pour montrer que l'amélioration ne vaut pas seulement pour les LLM géants, mais aussi pour les solutions économes en ressources. Les résultats sont impressionnants :

• Sous le harness Codex : +22,6 points sur SWE-Bench Verified pass@1
• Sous le harness Claude Code : +4,8 points
• Sous le harness Pi : +6,2 points

Pour mémoire : SWE-Bench Verified est un benchmark qui mesure la capacité d'un agent à résoudre de vraies tâches de programmation issues de pull requests ouvertes. Ce n'est pas un test synthétique, mais du code réel. Un bond de 22,6 points sous le harness Codex est une amélioration sérieuse, surtout pour un modèle compact.

Intégration à l'écosystème NVIDIA

Le framework est enregistré comme environnement NeMo Gym, ce qui permet de l'utiliser dans l'écosystème standard de NVIDIA. C'est une étape importante, car Polar devient ainsi un élément d'une plateforme plus large et non un outil jetable.

Le code est publié dans le dépôt ProRL Agent Server sous licence ouverte. Autrement dit, tout développeur peut récupérer Polar, l'installer et entraîner son propre modèle sur ses propres données, avec son propre hardware.

«

Cela montre qu'un entraînement efficace des agents n'exige pas de modifier la production infrastructure ».

Ce que cela signifie

Pour les développeurs et les entreprises, cela ouvre une voie pratique pour améliorer rapidement leurs agents IA sans refondre toute l'infrastructure. NVIDIA démontre que même de petits modèles peuvent beaucoup progresser avec la bonne méthode d'entraînement. C'est crucial pour le déploiement sur des appareils edge et pour l'économie globale des ressources de calcul.