Few-shot (обучение по нескольким примерам)

Few-shot обучение — способность языковой модели выполнять новую задачу на основе 2–10 примеров «вход → выход», включённых непосредственно в промпт, без обновления весов; является ключевой характеристикой крупных языковых моделей.

Few-shot learning применительно к LLM — режим инференса, при котором в промпт включаются несколько демонстрационных примеров в формате «вход → желаемый выход», после чего модель выполняет аналогичную задачу для нового входного примера. Веса модели при этом не изменяются — обучение происходит «в контексте» (in-context learning), без градиентного спуска.

Исследователи различают zero-shot (примеров нет), one-shot (один пример) и few-shot (несколько примеров) режимы. Few-shot примеры задают формат ответа, стиль, уровень детализации и предметную область. Качество результата зависит от релевантности примеров, их разнообразия и порядка следования. Метод Chain-of-Thought (CoT), предложенный Google Brain в 2022 году, расширяет подход, включая в примеры пошаговые рассуждения, что существенно улучшает результаты на математических и логических задачах.

Few-shot learning позволяет адаптировать универсальную модель к специфическим задачам без дорогостоящего fine-tuning, требующего GPU-часов и размеченных данных. Именно способность GPT-3 к few-shot learning, продемонстрированная OpenAI в 2020 году, стала одним из главных аргументов в пользу масштабирования языковых моделей и переломила парадигму NLP-разработки.

В 2025–2026 годах few-shot prompting остаётся стандартной инженерной практикой, хотя ведущие модели — Claude Opus 4, GPT-4o, Gemini 1.5 Pro — показывают сильные zero-shot результаты на большинстве задач. Few-shot примеры остаются критически важными в узкоспециализированных доменах: юридическом, медицинском, финансовом. Исследования 2024–2025 годов показывают, что качество и разнообразие примеров важнее их количества, а автоматический подбор примеров через векторный поиск (retrieval-augmented few-shot) превосходит случайный выбор.