T-Bank affine des LLM par évolution, sans gradients : 7,8 fois plus vite sur 128 GPU

L'équipe de T-Bank montre qu'on peut affiner un modèle de langage sans gradients, c'est-à-dire sans calculer de correction pour chaque paramètre en fonction de l'ampleur de l'erreur. C'est précisément ce calcul qui force les cartes graphiques d'un cluster à échanger des données en continu, et la synchronisation absorbe une part notable des ressources. La nouvelle méthode ESSA utilise à la place un algorithme évolutionnaire. Sur des problèmes de mathématiques, elle égale en qualité GRPO, qui affine le modèle entier, alors qu'elle ajuste environ un million de fois moins de paramètres. Le gain de vitesse croît avec la taille du cluster : environ 2 fois sur 16 GPU et jusqu'à 7,8 fois sur 128.

Un autre travail du même groupe, F-GRPO, améliore GRPO lui-même. Les deux articles ont été présentés à l'EMNLP, conférence de traitement automatique du langage naturel de rang A*.

Comment le modèle apprend sans gradients

Le fine-tuning classique fonctionne ainsi. Le modèle résout une tâche, le système calcule l'erreur, puis un gradient : une indication de la direction dans laquelle déplacer chaque paramètre pour améliorer la réponse. Lorsque l'entraînement s'étend sur des dizaines ou des centaines de cartes graphiques, celles-ci s'échangent ces gradients à chaque étape. Les calculs vont vite, mais le réseau entre les cartes devient souvent le goulot d'étranglement.

ESSA procède autrement, avec une logique de sélection :

• on part du modèle initial et on crée de nombreuses versions légèrement différentes ; • on teste chaque version sur un ensemble de tâches et on compte combien elle en résout ; • les plus performantes servent de base à la génération suivante ; • le cycle se répète, étape après étape.

Ce n'est pas le modèle entier qui change, mais seulement un petit ensemble de paramètres des adaptateurs LoRA. LoRA désigne de petites matrices supplémentaires que l'on greffe au modèle principal, lequel reste intact. ESSA manipule donc environ un million de fois moins de paramètres que GRPO. GRPO est une méthode d'apprentissage par renforcement populaire : le modèle produit plusieurs réponses candidates à une tâche, et leurs récompenses sont comparées entre elles.

Pourquoi un grand cluster profite à l'évolution

Chaque version du modèle est évaluée indépendamment des autres. Les cartes graphiques n'ont presque pas besoin de communiquer : il suffit de rassembler les résultats des tests à la fin. Le réseau entre les cartes cesse ainsi de ralentir l'entraînement.

Les chercheurs donnent les chiffres de vitesse suivants par rapport à un entraînement avec GRPO :

• environ 2 fois sur 16 GPU ; • jusqu'à 7,8 fois sur 128 GPU.

La logique est claire. Plus il y a de cartes, plus la synchronisation d'un entraînement classique coûte cher, et plus une méthode qui en est presque dépourvue prend l'avantage. Pour les grands clusters, c'est un argument sérieux.

Réserve : la comparaison de qualité porte sur des problèmes de mathématiques. La description ne permet pas de savoir comment ESSA se comportera sur d'autres types de tâches, par exemple le code ou les longs dialogues.

F-GRPO : comment ne pas perdre la diversité des solutions

Le second travail s'attaque à un autre problème de GRPO. Après le fine-tuning, le modèle s'habitue souvent à quelques méthodes de résolution correctes et choisit plus rarement les autres. Pour une seule tâche, ce n'est pas grave. Mais lorsqu'il faut multiplier les tentatives pour trouver au moins une solution correcte, la diversité devient importante.

F-GRPO modifie moins les paramètres sur les tâches simples, que le modèle résout déjà avec assurance. Il évite ainsi de figer un unique chemin habituel et conserve plusieurs manières de répondre.

Le résultat a été vérifié sur Qwen2.5-7B avec la métrique pass@256, soit la probabilité qu'au moins une réponse correcte figure parmi 256 réponses générées. Sur des problèmes de mathématiques, l'indicateur est passé de 64,1% à 70,3%. La méthode n'entraîne aucun coût d'entraînement supplémentaire.

Ce que cela change pour les ingénieurs et les entreprises

Tant que le fine-tuning est limité par le nombre de GPU et la vitesse du réseau qui les relie, les équipes ont deux options : acheter plus de matériel ou changer d'algorithme. Ces travaux illustrent la seconde voie sous deux angles.

• ESSA réduit la dépendance aux échanges de données entre les cartes et gagne en efficacité sur les grands clusters. • F-GRPO augmente les chances de trouver une bonne réponse parmi de nombreuses tentatives, sans renchérir l'entraînement. • Les deux approches préservent la qualité ou l'améliorent, sans exiger de reconstruire tout le modèle.

Il faut interpréter les résultats avec prudence : les chiffres proviennent de tâches de mathématiques, et il peut en aller autrement sur d'autres tâches. Mais la direction est claire. On peut améliorer le fine-tuning en préservant la diversité des solutions et en changeant la manière de mettre à jour le modèle, et pas seulement en achetant de nouvelles cartes graphiques. Sources primaires : arXiv 2507.04453 et arXiv 2602.06717.