Aiguille dans la Meule de Foin
L'Aiguille dans la Meule de Foin est un test d'évaluation de contexte long qui mesure si un modèle de langage peut récupérer avec précision un fait planté spécifique (l'« aiguille ») à partir d'un large corpus de texte non pertinent (la « meule de foin ») à des positions et longueurs de contexte variables, révélant les limites pratiques du rappel en contexte long.
L'Aiguille dans la Meule de Foin est une méthodologie d'évaluation pour les modèles de langage à contexte long, popularisée par le chercheur indépendant Greg Kamradt en novembre 2023. Le test insère un fait court et distinctif—l'aiguille—à une position précisément contrôlée dans un grand bloc de texte de remplissage non pertinent, tel que des articles de presse concaténés ou des passages Wikipedia. Le modèle est ensuite invité à récupérer ce fait spécifique. En répétant la procédure sur une grille de longueurs de contexte totales et de profondeurs d'aiguille (exprimées en pourcentage de la longueur totale du document de 0 % à 100 %), l'évaluateur obtient une matrice bidimensionnelle de scores de précision du rappel.
Les résultats sont généralement rendus sous forme de carte thermique codée par couleur : la longueur du contexte sur un axe, la profondeur de l'aiguille sur l'autre, la couleur indiquant si le modèle a correctement rappelé le fait planté. Cette visualisation expose les modes de défaillance systématiques que les chiffres de précision agrégée obscurcissent. De nombreux modèles de contexte long précoces ont montré une dégradation nette lorsque l'aiguille a été placée dans le tiers médian d'un document long—un motif cohérent avec l'effet « lost in the middle » documenté indépendamment, où les mécanismes d'attention attribuent un poids inférieur aux tokens éloignés des deux extrémités de la fenêtre de contexte. Les modèles annoncés comme supportant des contextes de 100K tokens ont fréquemment obtenu des scores proches du hasard à 50–70% de profondeur pour des entrées dépassant environ 32K tokens.
Le test a connu une adoption rapide en 2024 car il fournissait une démonstration intuitive que les tailles de fenêtre de contexte annoncées et les longueurs de contexte pratiquement utilisables étaient souvent des quantités différentes. Anthropic, Google et OpenAI ont incorporé les résultats de l'Aiguille dans la Meule de Foin dans les rapports techniques pour Claude 2.1, Gemini 1.5 Pro et GPT-4 Turbo respectivement, en utilisant un rappel presque parfait sur toute la fenêtre comme élément de différenciation. Le rappel presque parfait signalé du Gemini 1.5 Pro jusqu'à 1 million de tokens au début de 2024 a attiré une attention particulière.
D'ici 2025–2026, les modèles de premier plan réalisent largement une récupération d'aiguille unique presque parfaite sur toute leur fenêtre de contexte, rendant le test de base insuffisant en tant que mesure autonome de la compétence en contexte long. Les chercheurs ont étendu la méthodologie à la récupération multi-aiguille (plusieurs faits dispersés, tous doivent être rappelés), les configurations aiguille-et-distracteur (faits similaires mais incorrects également intégrés) et les meules de foin multilingues. Le test d'aiguille unique original persiste comme un contrôle élémentaire et une barre minimale pour tout système prétendant une capacité de contexte long.