Modèle de Fondation
Un modèle de fondation est un grand système d'IA pré-entraîné sur des données vastes et diversifiées—texte, images, code—pour servir de base généraliste adaptable à de nombreuses tâches en aval. Le terme a été introduit par Stanford HAI en 2021 ; les exemples incluent GPT-4, Claude, Gemini et LLaMA.
Les modèles de fondation sont des systèmes d'IA entraînés sur des ensembles de données massifs et hétérogènes en utilisant des objectifs auto-supervisés tels que la prédiction du token suivant ou la prédiction du token masqué. Le terme a été inventé dans un article de 2021 du Stanford Center for Research on Foundation Models (CRFM) pour distinguer ces bases généralistes des modèles antérieurs spécifiques à une tâche. Contrairement à un modèle entraîné uniquement pour détecter le spam ou classifier les images médicales, un modèle de fondation acquiert des représentations larges du langage, des connaissances et du raisonnement qui peuvent ensuite être adaptées. Les exemples s'étendent au langage (GPT-4o, Claude 3.5, LLaMA 3), à la vision (CLIP, DINOv2) et aux systèmes multimodaux (Gemini, GPT-4V).
L'entraînement d'un modèle de fondation implique typiquement deux phases. Le pré-entraînement sur de grands corpus—souvent des centaines de milliards à des trillions de tokens de texte, de code ou de paires image-caption—construit des représentations générales. L'adaptation en aval façonne alors le modèle pour des applications spécifiques par le biais du fine-tuning, de l'apprentissage par renforcement à partir des retours humains (RLHF), ou de l'ingénierie des prompts, tous de plusieurs ordres de grandeur moins coûteux que l'entraînement à partir de zéro. Ce paradigme « entraîner une fois, adapter plusieurs fois » est le moteur économique derrière l'actuelle vague de produits d'IA.
Les modèles de fondation ont transformé l'économie du développement de l'IA en créant un substrat partagé. Avant eux, chaque nouvelle application nécessitait un pipeline de données dédié et une exécution d'entraînement. Avec un modèle de fondation, une petite équipe peut créer un produit compétitif en utilisant le fine-tuning ou le prompting sur une base pré-existante. Cette concentration de capacité dans un petit nombre de systèmes de base concentre aussi les risques, ce qui a attiré l'attention réglementaire à l'échelle mondiale.
En 2026, les modèles de fondation vont des systèmes propriétaires fermés comme GPT-4o et Claude 4 aux versions librement concédées en licence comme le LLaMA 3 de Meta (jusqu'à 405 milliards de paramètres) et la famille de modèles de Mistral. Les modèles de fondation multimodaux qui traitent le texte, les images, l'audio et la vidéo simultanément sont devenus standard plutôt qu'exceptionnels. La loi européenne sur l'IA classe spécifiquement les « modèles d'IA à usage général » entraînés au-dessus d'un seuil de calcul de 10²⁵ FLOPs comme soumis aux exigences de transparence et d'évaluation, rendant le concept de modèle de fondation juridiquement opérationnel dans toute l'Union européenne.