Quanta Magazine разбирает, почему внимание стало ядром LLM после статьи 2017 года

Восемь авторов, одна статья 2017 года и формула в одну строку: softmax(QK^T/√d)V. Эта операция лежит под большинством крупных языковых моделей. Колонка Quanta Magazine от 12 октября 2026 года ставит вопрос: почему именно внимание оказалось ключом к обработке языка в масштабе и можно ли считать его сутью интеллекта?

В анонсе колонки нет ответа, только постановка вопроса, поэтому ниже разобран технический фон, на котором этот спор ведётся. Выводы автора читайте в оригинале.

Откуда взялась формула

Идея внимания старше трансформера. В 2014 году Бахданау, Чо и Бенджио применили похожий механизм в рекуррентной модели для машинного перевода: декодер при генерации каждого слова мог «заглядывать» в разные части исходного предложения. Рекуррентная сеть при этом оставалась основой, а внимание служило надстройкой.

В 2017 году авторы Attention Is All You Need от Google убрали рекуррентность целиком. Остались слои, где каждый токен строит запрос (query), сравнивает его с ключами (keys) всех остальных токенов и забирает взвешенную сумму их значений (values). На переводе WMT 2014 большая версия модели набрала 28,4 BLEU для пары английский — немецкий и 41,8 для английский — французский.

Почему внимание масштабируется

Главное преимущество в том, что вся последовательность обрабатывается параллельно. Рекуррентная сеть читает текст шаг за шагом, и GPU при этом простаивают. Внимание сводится к крупным матричным умножениям, на которые современные ускорители рассчитаны. Больше данных, больше параметров, больше чипов: такая схема предсказуемо давала прирост качества.

Вторая причина в гибкости. Веса внимания вычисляются из самого входа, поэтому связь между словом в начале абзаца и словом в конце не затухает по дороге, как в старых рекуррентных архитектурах.

Ключевые цифры исходной работы:

• 8 авторов, конференция NeurIPS 2017;
• базовая модель: около 65 млн параметров, обучение примерно 12 часов на 8 GPU NVIDIA P100;
• большая модель: около 213 млн параметров, 3,5 дня на тех же 8 GPU;
• результат: 28,4 BLEU (EN→DE) и 41,8 BLEU (EN→FR);
• для сравнения, GPT-3 в 2020 году имела 175 млрд параметров и контекст 2048 токенов.

Цена универсальности

У внимания есть слабое место: каждый токен сравнивается с каждым. Время и память растут пропорционально квадрату длины контекста. Удвоили контекст, получили четырёхкратный рост вычислений на этом участке.

Индустрия отвечает инженерией. FlashAttention (2022) не меняет математику, а перестраивает работу с памятью GPU и даёт точный результат быстрее. Параллельно развиваются разреженное и линейное внимание, а также гибриды с моделями пространства состояний. Эти подходы экономят вычисления, но часто проигрывают классическому вниманию в качестве на сложных задачах.

Как читать этот спор практически

Утверждение «внимание есть суть интеллекта» стоит разделить на два. Первое проверяемо: внимание оказалось исключительно удачным вычислительным примитивом для обучения на текстах. Второе философское: что из этого следует для понимания разума, остаётся предметом дискуссии, и Quanta выносит её в заголовок.

Для инженеров вывод приземлённый. Если вы выбираете архитектуру или оцениваете инфраструктуру, считайте не только параметры, но и длину контекста: квадратичная часть определяет стоимость длинных запросов, RAG-пайплайнов и агентов с большой памятью. Если вы следите за исследованиями, смотрите на работы, где альтернативы вниманию сравниваются с трансформером при одинаковом вычислительном бюджете. Пока именно трансформер остаётся точкой отсчёта.