MUX: метод непрерывного рассуждения LLM через мультиплексированные токены

Исследователи в июле 2026 года опубликовали на arXiv метод MUX (multiplexed tokens) — способ вести рассуждения языковых моделей в непрерывном латентном пространстве, где один латентный токен без потерь кодирует сразу целый фрагмент цепочки рассуждений вместо одного слова. По данным авторов, MUX превзошёл сильные латентные reasoning-бейзлайны сразу в 32 настройках оценки на четырёх языковых моделях.

Почему обычные рассуждения тормозят

Классические reasoning-модели тратят вычисления впустую: каждый шаг цепочки рассуждений передаёт лишь одно подслово, а часть шагов уходит на проговаривание мысли, а не на само вычисление. Авторы MUX называют это вычислительным «узким горлышком»: модель рассуждает на естественном языке, поэтому пропускная способность одного шага ограничена размером одного subword-токена — и на длинных цепочках это выливается в лишние вычисления.

Что такое мультиплексированные токены

MUX дистиллирует дискретную цепочку рассуждений в непрерывные латентные токены. Каждый такой токен обучается представлять взвешенную линейную суперпозицию (мультиплексирование) целого диапазона подслов, причём эта суперпозиция обратима: исходный диапазон подслов можно полностью восстановить обратно (демультиплексирование). Ключевая идея — сделать сжатие обратимым по построению, а не приближённым: тогда модель не «срезает углы» и сохраняет всю исходную логику рассуждения.

• Метод — MUX, препринт arXiv:2607.18264, тип публикации «new» (июль 2026)
• Механизм — один латентный токен равен взвешенной сумме нескольких дискретных подслов рассуждения
• Обратимость — суперпозиция без потерь, диапазон подслов восстанавливается полностью
• Взвешивание — позиционно-зависимое, например геометрическое затухание весов
• Бонус — параллельное исследование нескольких веток решения в задачах, требующих поиска

Авторы доказывают, что простые позиционно-зависимые веса — например, подходящее геометрическое затухание — обеспечивают мультиплексирование без потерь. Это, в свою очередь, предотвращает «латентный коллапс»: вырожденное shortcut-поведение, при котором модель схлопывает латентное представление и перестаёт реально рассуждать.

Насколько MUX лучше аналогов

MUX обошёл сильные латентные reasoning-бейзлайны в 32 экспериментальных настройках, охватывающих четыре разные языковые модели, — так сообщают авторы в аннотации на arXiv. Речь идёт о превосходстве не над одной моделью, а над целым классом латентных методов рассуждения — по всей сетке из 32 конфигураций. Дополнительно ablation- и probing-анализы показали, что выученные латентные токены кодируют верное и интерпретируемое рассуждение, а не случайный шум.

Отдельный результат — способность к параллельному поиску: мультиплексированное рассуждение может одновременно исследовать несколько веток решения в задачах, где требуется перебор вариантов.

«Суперпозиция без потерь в качестве локальной цели обучения —

достаточное условие для сильного и эффективного непрерывного рассуждения в латентном пространстве», — говорится в аннотации исследования MUX на arXiv.

Что это значит

Латентное рассуждение — попытка убрать «языковой налог» с reasoning-моделей: считать в компактном непрерывном пространстве вместо длинных текстовых цепочек. Если результаты MUX воспроизведутся на больших моделях, это путь к более дешёвому и быстрому reasoning без потери точности и интерпретируемости — а значит, к рассуждающим ИИ, которые тратят меньше вычислений на ту же задачу.

Частые вопросы

Что такое мультиплексированные токены?

Это непрерывные латентные токены, каждый из которых кодирует взвешенную сумму сразу нескольких подслов цепочки рассуждений. По построению суперпозиция обратима — исходный диапазон подслов можно восстановить полностью, поэтому информация не теряется.

Чем MUX отличается от обычной цепочки рассуждений?

Обычная chain-of-thought передаёт по одному подслову за шаг и рассуждает текстом. MUX сжимает целый фрагмент рассуждения в один латентный токен и считает в непрерывном пространстве — это повышает пропускную способность и, по данным авторов, обходит латентные бейзлайны в 32 тестовых настройках на четырёх моделях.