Effondrement de Modèle

L'effondrement de modèle—également appelé « la malédiction de la récursion »—est un mode de défaillance documenté formellement dans un article de 2023 par Shumailov et ses collègues à l'Université d'Oxford et Google DeepMind. Lorsque les modèles IA sont entraînés sur des ensembles de données qui incluent des proportions importantes de contenu produit par des modèles IA antérieurs plutôt que des originaux générés par l'homme, chaque génération d'entraînement successive rétrécit progressivement la distribution statistique que le modèle a apprise. Les motifs rares, les points de vue minoritaires et les informations peu fréquentes mais précises sont les premières victimes ; les résultats du modèle convergent vers un mode plus homogène et central.

Deux mécanismes qui se renforcent mutuellement conduisent à l'effondrement. Premièrement, les données générées par le modèle approximent mais compriment la distribution d'entraînement—les modèles génératifs sont biaisés vers les résultats probables et sous-représentent systématiquement les queues. Deuxièmement, les erreurs d'estimation s'accumulent à travers les générations : les petits biais introduits dans la génération 1 deviennent le signal d'entraînement pour la génération 2, amplifiant davantage ces biais. Dans les modèles de langage, le résultat en aval est une dérive vers une prose terne et répétitive ; dans les générateurs d'images, vers des compositions visuellement uniformes.

L'effondrement de modèle est important car Internet—le corpus d'entraînement principal pour les modèles de pointe—se remplit rapidement de contenu généré par l'IA. Plusieurs analyses publiées entre 2023 et 2025 ont trouvé des fractions mesurables et croissantes de texte généré par l'IA sur les forums, les réseaux sociaux et les agrégateurs d'actualités, certains domaines de contenu montrant une saturation particulièrement élevée. Si elle n'est pas traitée, les futures exécutions d'entraînement risquent une contamination systématique, produisant des modèles avec une capacité et une diversité de résultats réduites même si les scores de benchmark sur les tâches communes restent stables.

Les chercheurs explorent plusieurs atténuations : apposer un filigrane sur le contenu généré par l'IA afin qu'il puisse être filtré des futurs ensembles d'entraînement, maintenir des corpus sélectionnés de haute qualité rédigés par l'homme, et développer des stratégies de mélange de données qui préservent les exemples rares. À partir de 2026, aucune organisation d'entraînement n'a annoncé une solution complète ; le problème est largement considéré comme l'un des principaux risques structurels à long terme pour la qualité des modèles de base.

Exemple

“Une petite entreprise de génération d'images réentraîne son modèle principalement sur ses propres résultats antérieurs pour réduire les coûts de collecte de données ; après trois tels cycles d'entraînement, les utilisateurs observent que le modèle produit des compositions de paysages pratiquement identiques indépendamment de la variation des instructions—une instance classique d'effondrement de modèle.