Авито устроило турнир uplift-моделей: победил X-learner, а не Causal Forest

En juillet 2026, Grisha Kryukov, analyste de l'équipe confiance et sécurité d'Avito, a organisé un « championnat » entre quatre modèles uplift populaires — S-learner, T-learner, X-learner et CausalForest — avec une phase de groupes et des playoffs. L'or est revenu, contre toute attente, à X-learner, sorti de la phase de groupes à la troisième place seulement, mais qui a remporté les deux demi-finales et la finale.

À quoi servent les modèles uplift

La modélisation uplift évalue l'effet individuel d'une action — de combien va changer le comportement d'une personne précise à la suite d'une promotion, et non la réaction moyenne du groupe. La principale difficulté est que, pour un même objet, on ne peut pas observer les deux issues en même temps : avec l'action et sans elle.

«

Le principal problème : pour un même joueur, nous ne connaissons jamais les deux situations en même temps », — Grisha Kryukov, analyste de l'équipe confiance et sécurité d'Avito.

Les quatre approches résolvent cette tâche de manières différentes : le S-learner introduit le flag d'action comme une caractéristique ordinaire, le T-learner entraîne deux modèles séparés, le X-learner ajoute un entraînement sur des pseudo-effets et une pondération par propensity, tandis que CausalForest construit des arbres qui maximisent la différence d'effet.

Comment le tournoi était organisé

Le tournoi comprenait une phase de groupes sur des données synthétiques et des playoffs sur des données réelles. L'auteur a mesuré la qualité des modèles avec la métrique PEHE (Precision in Estimation of Heterogeneous Effect) — plus elle est basse, plus l'estimation de l'effet est précise.

• Modèles : S-learner, T-learner, X-learner, CausalForest
• Métrique — PEHE, points en groupe selon le classement : 3-2-1-0
• Phase de groupes — données synthétiques, 5000 observations, 10 caractéristiques, répartition 70/30
• Demi-finales — dataset Hillstrom Mine That Data, 64 mille clients e-commerce
• Finale — dataset FIFA21, environ 10 mille footballeurs et 26 attributs

À l'issue des trois manches de groupe, CausalForest était en tête avec 6 points, S-learner et X-learner en avaient 5 chacun, et T-learner fermait le classement avec 2 points.

Pourquoi X-learner a gagné

X-learner a gagné parce que son architecture apprend précisément à partir de la différence entre les scénarios avec action et sans action, et non du niveau général de réponse. En demi-finale, il a écrasé S-learner (PEHE 0.215 contre 0.747), et en finale il a battu T-learner avec un résultat de PEHE 0.579 contre 1.135.

« L'architecture fonctionne comme prévu : au lieu du niveau général, le modèle apprend précisément la différence entre les mondes avec action et sans action », —

Grisha Kryukov.

L'auteur explique ainsi la raison de la défaite du favori : sur les données synthétiques, où la distribution est parfaite, l'avantage revenait au CausalForest, robuste, mais sur les données réelles « sales », c'est l'architecture plus flexible qui l'emportait. Le T-learner a particulièrement souffert : ses deux modèles indépendants n'échangent pas d'information entre eux, ce qui s'est révélé fatal en finale.

Ce que cela signifie

Il n'existe pas de vainqueur universel en modélisation uplift : sur des données synthétiques propres et de petits échantillons, c'est CausalForest qui gagne, tandis que sur des données réelles bruitées, c'est X-learner. Le choix du modèle doit se faire en fonction du dataset concret, et non de la réputation de la méthode.

Questions fréquentes

Qu'est-ce que la modélisation uplift ?

C'est une méthode d'évaluation de l'effet individuel d'une action — de combien va changer le comportement d'un utilisateur précis à la suite d'une promotion ou d'un e-mail, et non l'effet moyen sur toute l'audience. Elle est utilisée en marketing, en rétention et dans la lutte antifraude.

Quel modèle a remporté le tournoi d'Avito ?

Le champion a été X-learner : il n'est sorti de la phase de groupes qu'en troisième position, mais il a remporté les deux demi-finales et la finale avec un résultat de PEHE 0.579 contre 1.135 pour T-learner. La raison en est son architecture, qui apprend à partir de la différence d'effets.

Que signifie la métrique PEHE ?

PEHE (Precision in Estimation of Heterogeneous Effect) mesure avec quelle précision le modèle estime l'effet individuel : plus la valeur est basse, plus la prédiction est proche de la réalité. C'est elle qui a servi à répartir les places dans le tournoi.