Apprentissage en contexte
L'apprentissage en contexte est la capacité d'un grand modèle de langage à effectuer de nouvelles tâches en lisant des exemples ou des instructions placés directement dans l'invite d'entrée, en adaptant son comportement au moment de l'inférence sans aucune mise à jour de ses poids.

L'apprentissage en contexte (ICL) est la capacité d'un grand modèle de langage à effectuer une nouvelle tâche en se conditionnant sur une invite qui contient une description du langage naturel, quelques exemples étiquetés (shots) ou les deux—sans mettre à jour aucun poids du modèle. Le modèle produit les résultats corrects en effectuant une correspondance de motifs dans la fenêtre de contexte au moment de l'inférence, ce qui en fait une forme d'apprentissage méta exprimée entièrement au niveau de la couche d'inférence.
L'ICL fonctionne par le mécanisme d'attention du modèle, qui lui permet de lire les démonstrations dans l'invite et de déduire la correspondance entrée-sortie sous-jacente. L'article de GPT-3 de 2020 (Brown et al.) a démontré que l'augmentation de la taille du modèle amplifie considérablement ce comportement émergent, les capacités zero-shot et few-shot n'apparaissant de manière fiable qu'au-delà d'un certain seuil de paramètres. Le modèle n'effectue pas de descente de gradient; il code l'information de tâche implicitement par attention sur les exemples fournis, un processus que certains chercheurs décrivent comme une inférence bayésienne implicite sur la distribution des invites.
L'ICL rend les grands modèles hautement flexibles sans le coût d'ingénierie du fine-tuning. Un développeur peut adapter un modèle à un nouveau schéma de classification, format de sortie ou style de domaine en écrivant une poignée d'exemples dans l'invite, réduisant le cycle d'itération de jours (fine-tuning et évaluation) à minutes (édition d'invite). Ceci est particulièrement précieux pour les tâches faibles en ressources, le prototypage rapide et les applications où les définitions de tâche changent fréquemment.
À partir de 2026, les modèles avec des fenêtres de contexte de 128K–1M tokens—incluant Claude 3.5 et 3.7 (Anthropic), Gemini 1.5 Pro (Google), et GPT-4o (OpenAI)—peuvent accueillir des centaines d'exemples en contexte et des documents de référence entiers, estompant la limite entre ICL et la génération augmentée par récupération. La recherche sur les raisons pour lesquelles l'ICL fonctionne reste active, avec des comptes concurrents impliquant la simulation de la descente de gradient dans le passage direct et l'induction de vecteur de tâche, mais l'application pratique a bien devancé le consensus théorique.
Exemple
“Un développeur construisant un classificateur de documents juridiques fournit au modèle cinq exemples étiquetés de « clause de contrat » par rapport à « préambule » directement dans l'invite du système; le modèle catégorise alors correctement les nouvelles clauses en production sans aucun fine-tuning ou données d'entraînement supplémentaires.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.