Lapras заменил CoT скрытым рассуждением: F1 до +10,79% при 23,9x меньше токенов

Команда авторов Lapras (Latent Post-trained Reasoning Across Series) предлагает отказаться от текстовой цепочки рассуждений в моделях, которые анализируют временные ряды. В тестах на четырёх TSLM-бэкбонах и пяти бенчмарках вопросов и ответов по временным рядам средний F1 вырос до 10,79% относительно явного Chain-of-Thought. Токенов при этом генерируется в 23,9 раза меньше. Работа опубликована на arXiv (cs.CL).

Где ломается CoT на временных рядах

Time Series Language Models получают на вход непрерывный сигнал (показания датчиков, ЭКГ, котировки) и отвечают на вопросы на естественном языке. Стандартный подход — CoT: модель сначала пошагово описывает, что видит в ряду, затем делает вывод.

У этой схемы есть слабое место. Высокоразмерное непрерывное представление приходится сжимать в дискретные языковые токены. По мнению авторов, на этом этапе модель может пропустить значимый паттерн или описать его неточно. Следующие шаги опираются на уже написанное описание, поэтому ошибка тянется дальше. На выходе получается правдоподобное объяснение, которое противоречит исходному сигналу. Такие ответы труднее всего поймать: выглядят они убедительно.

Как работает Lapras

Lapras — это этап post-training. Модель рассуждает цепочкой непрерывных мыслей в совместном пространстве временного ряда и языка и пишет текст только для финального ответа. Промежуточные шаги остаются скрытыми состояниями и в слова не переводятся.

Обучение построено на самодистилляции «учитель — ученик»:

• Учитель обучен на эталонных CoT-трассах и рассуждает явно, текстом.
• Ученик выравнивает свои скрытые состояния с состояниями учителя на стадии ответа.
• Способность к рассуждению переносится в латентные вычисления ученика, и генерировать длинные описания ему больше не нужно.

Отдельный пункт — интерпретируемость. Непрерывные мысли Lapras можно декодировать в читаемые трассы рассуждений стандартным языковым декодированием. Текстовое объяснение не пропадает: его можно получить по запросу, а не генерировать каждый раз.

Что показали эксперименты

Авторы проверяли метод на четырёх разных TSLM-бэкбонах и пяти бенчмарках time series QA. Сводка из аннотации:

• Прирост среднего F1 по сравнению с явным CoT — до 10,79%.
• Сокращение числа генерируемых токенов — в 23,9 раза.
• Протестировано четыре бэкбона и пять бенчмарков.
• Скрытые рассуждения декодируются в текст без отдельной архитектуры.

В аннотации нет названий моделей, разбивки по задачам и данных о задержке в миллисекундах. «До 10,79%» — максимум, а не среднее по всем конфигурациям, и неясно, считается ли это процентными пунктами или относительным ростом. Цифру нужно сверять с полным текстом и таблицами. Сопоставимость с другими латентными подходами тоже стоит проверять по самой статье.

Кому это пригодится на практике

Сокращение токенов в 23,9 раза напрямую снижает стоимость и задержку инференса. Для мониторинга оборудования, медицинских сигналов или финансовых рядов, где запросы идут потоком, это может быть важнее прироста метрики. Короткие ответы дешевле генерировать, а меньшее число текстовых шагов оставляет меньше мест для накопления ошибки.

Командам, которые строят TSLM-продукты, стоит смотреть на два момента. Во-первых, нужны качественные CoT-трассы для учителя: схема не обходится без них. Во-вторых, декодирование латентных мыслей в текст нужно проверять на согласованность с сигналом. Читаемость трассы ещё не означает, что она верна. До применения в критичных областях метод нужно прогнать на собственных данных и сравнить с обычным CoT как по F1, так и по качеству объяснений.