Google DeepMind laisse un LLM réécrire des algorithmes de théorie des jeux et dépasser les experts

Google DeepMind a montré qu'un modèle de langage peut faire plus qu'aider les chercheurs à écrire du code : il peut chercher seul de nouvelles idées algorithmiques en théorie des jeux et battre des solutions que des humains peaufinent depuis des années. Le travail porte sur le Multi-Agent Reinforcement Learning pour les jeux à information imparfaite, des situations où les participants jouent à tour de rôle et ne voient pas les données cachées des autres, comme au poker. Dans ces tâches, la qualité d'un algorithme dépend souvent non seulement de la théorie de base, mais aussi de nombreux détails d'ingénierie : comment accumuler le regret, comment actualiser les anciens signaux, quand commencer à moyenner la stratégie et comment chercher l'équilibre.

D'ordinaire, tout cela se règle à la main, à l'intuition, par une série d'hypothèses et de longues expériences. Dans un preprint publié sur arXiv le 18 février 2026, l'équipe de DeepMind propose de confier ce travail à AlphaEvolve, un agent évolutif de réécriture de code qui s'appuie sur un LLM et sur une vérification automatique de la qualité de chaque nouvelle version. Dans cette étude, AlphaEvolve a été appliqué à deux familles classiques d'algorithmes : CFR (Counterfactual Regret Minimization) et PSRO (Policy Space Response Oracles).

Les expériences ont utilisé le framework OpenSpiel, et la qualité a été mesurée par l'exploitability, une métrique qui indique dans quelle mesure la stratégie trouvée peut être exploitée par la meilleure réponse de l'adversaire. Point important : les chercheurs ne se sont pas limités au réglage d'hyperparamètres. Le système a modifié la logique même du code Python chargé d'accumuler le signal de regret, de construire la politique courante et de moyenner les stratégies.

L'article indique explicitement Gemini 2.5 Pro comme le modèle sur lequel cette boucle de recherche a été bâtie. Pour la famille CFR, le système a trouvé une nouvelle variante, VAD-CFR, Volatility-Adaptive Discounted CFR.

Son principe : l'algorithme n'applique pas de règles fixes pour oublier les anciennes informations, mais observe la volatilité de l'apprentissage et actualise plus fortement l'historique dans les moments instables. AlphaEvolve a aussi ajouté une amplification asymétrique des signaux de regret instantané positifs avec un coefficient de 1,1, ainsi qu'une règle de moyennage inattendue : ne pas commencer du tout l'accumulation de la politique moyenne avant l'itération 500. C'est d'autant plus intéressant que l'horizon d'évaluation était de 1000 itérations et que le système a déduit seul le seuil de 500, sans indication explicite dans le prompt.

Sur l'ensemble des 11 jeux, VAD-CFR égale ou dépasse les meilleures solutions connues dans 10 cas sur 11 ; la seule exception est la version à quatre joueurs de Kuhn Poker. Pour PSRO, AlphaEvolve a cherché non pas des règles de mise à jour du regret, mais un méta-solveur, qui détermine la distribution de probabilités sur la population de stratégies. C'est ainsi qu'est né SHOR-PSRO, Smoothed Hybrid Optimistic Regret PSRO.

Cette variante mêle l'optimistic regret matching à une distribution lissée sur les meilleures stratégies pures et, au fil de l'entraînement, déplace progressivement l'équilibre entre exploration et convergence vers l'équilibre. En pratique, cela supprime une partie du réglage manuel auparavant indispensable : le chercheur n'a plus à deviner à l'avance quand le système doit favoriser la diversité des stratégies et quand il doit se rapprocher plus fermement de l'équilibre. Sur l'ensemble des 11 jeux, SHOR-PSRO égale ou dépasse les meilleures références manuelles dans 8 cas.

Autre point notable : DeepMind n'a pas seulement vérifié l'ajustement aux exemples d'entraînement. Les deux schémas découverts ont d'abord évolué sur quatre jeux, dont 3-player Kuhn Poker, 2-player Leduc Poker, 4-card Goofspiel et 5-sided Liar's Dice, puis ont été testés, sans nouveau réglage, sur des variantes plus grandes et inédites des mêmes classes de problèmes. C'est plus solide que la démonstration habituelle sur un ou deux environnements jouets : cela montre au moins une capacité de base des algorithmes à généraliser au-delà de l'ensemble sur lequel la recherche a eu lieu.

L'enseignement principal est simple : les LLM commencent à automatiser non seulement l'écriture de code, mais aussi la conception des algorithmes eux-mêmes. Pour les chercheurs, le rôle se déplace : moins de tâtonnement manuel sur les heuristiques, davantage de travail sur la métrique, les contraintes et le système de vérification. Le travail ne prouve toutefois pas qu'un modèle sait tout inventer de façon universelle : le succès repose ici sur une fonction d'évaluation claire et sur des domaines où la qualité d'une solution peut être vérifiée rigoureusement.

Même avec cette réserve, le résultat paraît sérieux : DeepMind a montré que, dans des domaines étroits et formalisables, une machine peut déjà trouver des coups que les experts n'avaient pas trouvés à la main.