Иголка в стоге сена (тест длинного контекста)
«Иголка в стоге сена» — тест для проверки способности языковой модели извлекать конкретный факт, скрытый в длинном тексте. Он показывает, насколько равномерно модель удерживает информацию на всей протяжённости контекстного окна вне зависимости от позиции нужного фрагмента.
«Иголка в стоге сена» (Needle in a Haystack) — методология тестирования длинного контекста языковых моделей. Суть эксперимента: в документ произвольной длины — как правило, набор несвязанных текстов или книг — в заданной позиции вставляется короткий специфический факт («иголка»). Модели задаётся вопрос, ответ на который содержится только в этой вставке, и оценивается, удалось ли её обнаружить.
Тестирование проводится систематически по сетке параметров: длина документа и позиция иголки варьируются по всему диапазону (например, от 1k до 1M токенов и от начала до конца текста). Результаты визуализируются в виде тепловой карты, где цвет ячейки отражает точность ответа при данной комбинации. Идеальная модель даёт правильный ответ при любой длине и любой позиции. На практике многие системы демонстрируют провалы в середине документа — феномен, описанный в исследовании 2023 года под названием «lost in the middle».
Тест приобрёл широкое распространение в 2023–2024 годах, когда модели начали заявлять поддержку контекстных окон от 32k до сотен тысяч токенов, однако реальное использование этого объёма оставалось под вопросом. «Иголка» стала де-факто стандартом при выходе длинноконтекстных моделей — простым и воспроизводимым способом подтвердить или опровергнуть декларируемые возможности без сложной инфраструктуры.
К 2025–2026 годам ведущие модели — Gemini 1.5/2.0 Pro (Google), Claude 3.5/3.7 (Anthropic), GPT-4o (OpenAI) — демонстрируют высокую точность на стандартных вариантах теста при контекстах до 128k токенов. Это сместило фокус исследований на усложнённые версии: многоиголочные тесты с несколькими одновременными вставками, сценарии с намеренно вводящими в заблуждение фрагментами и задачи на синтез информации из множества источников. Сам тест остаётся необходимым, но уже недостаточным условием для полноценной оценки качества длинного контекста.