Позицию токена в NoPE-трансформере восстановили на 99%, в RWKV-7 — на 29–42%
Автор обучил 12 маленьких моделей — RWKV-7, трансформеры с RoPE и без позиционного кодирования (NoPE) — и проверил каждый слой линейной пробой. Номер токена в тексте проба восстановила из NoPE на 99% (R²), из RoPE на 38–51%, из RWKV-7 на 29–42%. Синтаксис и смысл при равном loss читаются у всех похоже. Поэтому сравнивайте модели при одинаковом loss: иначе «победу» даст просто меньшая ошибка, а не архитектура.
AI-обработка оригинала Habr AI; редакция Hamidun News
Представьте, что вы сравниваете две версии RAG-конфига и видите, что новая отвечает точнее. Радоваться рано: возможно, она просто дольше «настраивалась» и поэтому лучше по любой метрике, а сама идея ни при чём. Ровно с такой проблемой столкнулся независимый исследователь, который сравнивал архитектуру RWKV-7 (рекуррентная модель без механизма внимания) с обычными трансформерами. Он обучил 12 небольших моделей, отличающихся только архитектурой, и заглянул в каждый слой каждого чекпоинта. Главный итог: на этом масштабе заметнее всего различается способ хранения позиции токена, то есть номера слова в тексте. Для грамматики и смысла при одинаковой ошибке обучения (loss) модели выглядят похоже. Заголовочные 99% и 29–42% — это метрика R² (насколько точно простая модель угадывает номер токена по скрытому состоянию слоя; 100% — идеально).
Что и как сравнивали
Взяли три способа дать модели порядок слов. RWKV-7 хранит рекуррентное состояние, и порядок встроен в то, как оно обновляется. Трансформер с RoPE получает позицию, поворачивая запросы и ключи внутри внимания. Трансформер NoPE вообще не имеет позиционного кодирования: единственный источник порядка у него — причинная маска, то есть запрет смотреть на слова впереди.
Размеров два (56,6M и 115M параметров), языков два (русский и английский), на каждую модель по 1–2 млрд токенов. Корпус примерно на 76% состоит из Википедии. На каждый прогон сохранили по 21 чекпоинту, а у 9 из 12 прогонов есть второй сид инициализации.
Инструмент — линейные пробы. Это простая модель, которая по замороженному скрытому состоянию токена пытается угадать свойство: номер позиции, роль в предложении, падеж, время глагола, тональность. Если проба справляется, информация в слое лежит «на виду». Оговорка автора: проба показывает, что читается, а не то, что модель реально использует.
Позиция хранится по-разному
Лучший слой NoPE дал R² 99%, RoPE — 38–51%, RWKV-7 — 29–42%. Порядок одинаков для обоих языков, размеров и сидов. NoPE добирается до R² около 98% уже к третьему слою и держит не ниже 85% до 11-го, а на последнем падает до 22–44%.
Любопытная деталь: даже случайно инициализированный трансформер читает позицию с R² 44–56%, потому что одна причинная маска уже даёт сигнал. У RoPE в ходе обучения этот показатель падает: на русской модели 56,6M с 51% до 38%. Автор предполагает, что раз позиция подаётся прямо в внимание, хранить её в остаточном потоке больше незачем, но этого он не проверял.
Глубина слова в дереве зависимостей показывает тот же порядок, но разрыв намного меньше — 2–6 процентных пунктов. Глубина связана с номером слова в предложении, поэтому автор считает это тем же эффектом, а не отдельной находкой.
Почему важно сравнивать при равном loss
У RWKV-7 финальный val-loss ниже, чем у RoPE, на 0,10–0,13, так что финальные чекпоинты сравнивать нечестно: модель с меньшей ошибкой выглядит «умнее» почти по любой пробе. Пример: на финале RWKV лучше различает русские омонимы (87,6% против 81,9%), но при равном loss этот отрыв сжимается или пропадает. Поэтому автор интерполировал результаты проб по loss между 21 чекпоинтом и сравнивал архитектуры на четырёх уровнях loss. Различие считалось устойчивым, только если оно совпало в обоих сидах, имело один знак на всех уровнях и превышало разброс между сидами.
Остальные различия мелкие — 0,3–3 процентных пункта. NoPE чуть слабее на роли слова в предложении, времени и виде глагола (на 0,4–2,3 п.п.), а между RWKV и RoPE различий практически нет. В английских моделях RWKV немного выше NoPE на омонимах и тональности, но наборы крошечные (16 слов на смысл), и автор считает сигнал слабым.
Есть и наводка: пик синтаксических проб у RWKV приходится на слои на 1–4 ниже, чем у трансформеров. Но кривые у максимума плоские, а разброс номера слоя между сидами не оценивался.
Что делать на практике
Урок прежде всего методологический. Сравнивая архитектуры, чекпоинты или конфиги, фиксируйте loss, а не число шагов или размер модели, и не верьте фразе «архитектура X лучше понимает Y» без такого контроля.
Ограничения серьёзные: модели маленькие, сидов два и они меняют только инициализацию, порядок данных не варьировался, семантические тесты автор написал сам, а утечку данных проверил только для русского синтаксиса. Результат ничего не говорит о моделях крупнее 115M и о том, какая из них лучше использует позицию.
Всё открыто: код проб и результаты лежат на GitHub под Apache 2.0, а все 21 чекпоинт каждого из 12 прогонов сида 0 (86,5 ГБ) — на Hugging Face. Код обучения и конфиги пока не опубликованы, поэтому пробы повторить можно сразу, а само обучение — нет.
- 8 нояб. 2026 г.Системный промпт RWKV-7 можно «свернуть» в состояние: старт быстрее в 12 раз
- 28 окт. 2026 г.rwkv-quant: одна матрица в bf16 снимает 39% потерь при квантовании RWKV-7 2.9B
- 29 окт. 2026 г.Т-Тех придумал метод LIMe: языковую модель обучают на 15% дешевле по вычислениям
- 12 нояб. 2026 г.Статические эмбеддинги прогнали 32,9 млн текстов на ноутбуке за 35 минут
Вопросы и ответы по материалу
Что известно по теме: что и как сравнивали?
Взяли три способа дать модели порядок слов. RWKV-7 хранит рекуррентное состояние, и порядок встроен в то, как оно обновляется. Трансформер с RoPE получает позицию, поворачивая запросы и ключи внутри внимания. Трансформер NoPE вообще не имеет позиционного кодирования: единственный источник порядка у него — причинная маска, то есть запрет смотреть на слова впереди. Размеров два (56,6M и 115M параметров), языков два (русский и английский), на каждую модель по 1–2 млрд токенов.
Что известно по теме: позиция хранится по-разному?
Лучший слой NoPE дал R² 99%, RoPE — 38–51%, RWKV-7 — 29–42%. Порядок одинаков для обоих языков, размеров и сидов. NoPE добирается до R² около 98% уже к третьему слою и держит не ниже 85% до 11-го, а на последнем падает до 22–44%. Любопытная деталь: даже случайно инициализированный трансформер читает позицию с R² 44–56%, потому что одна причинная маска уже даёт сигнал. У RoPE в ходе обучения этот показатель падает: на русской модели 56,6M с 51% до 38%.
Что известно по теме: почему важно сравнивать при равном loss?
У RWKV-7 финальный val-loss ниже, чем у RoPE, на 0,10–0,13, так что финальные чекпоинты сравнивать нечестно: модель с меньшей ошибкой выглядит «умнее» почти по любой пробе. Пример: на финале RWKV лучше различает русские омонимы (87,6% против 81,9%), но при равном loss этот отрыв сжимается или пропадает. Поэтому автор интерполировал результаты проб по loss между 21 чекпоинтом и сравнивал архитектуры на четырёх уровнях loss.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.