Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарHabr AI→ оригинал

Позицию токена в NoPE-трансформере восстановили на 99%, в RWKV-7 — на 29–42%

Автор обучил 12 маленьких моделей — RWKV-7, трансформеры с RoPE и без позиционного кодирования (NoPE) — и проверил каждый слой линейной пробой. Номер токена в тексте проба восстановила из NoPE на 99% (R²), из RoPE на 38–51%, из RWKV-7 на 29–42%. Синтаксис и смысл при равном loss читаются у всех похоже. Поэтому сравнивайте модели при одинаковом loss: иначе «победу» даст просто меньшая ошибка, а не архитектура.

AI-обработка оригинала Habr AI; редакция Hamidun News
Позицию токена в NoPE-трансформере восстановили на 99%, в RWKV-7 — на 29–42%
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1RWKV-7 закончил с loss на 0,10–0,13 ниже RoPE — финалы нельзя сравнивать
Ключевой факт #2Пик синтаксических проб у RWKV на 1–4 слоя раньше — пока лишь наводка
Ключевой факт #3Код и чекпоинты сида 0 (86,5 ГБ) открыты, лицензия Apache 2.0

Представьте, что вы сравниваете две версии RAG-конфига и видите, что новая отвечает точнее. Радоваться рано: возможно, она просто дольше «настраивалась» и поэтому лучше по любой метрике, а сама идея ни при чём. Ровно с такой проблемой столкнулся независимый исследователь, который сравнивал архитектуру RWKV-7 (рекуррентная модель без механизма внимания) с обычными трансформерами. Он обучил 12 небольших моделей, отличающихся только архитектурой, и заглянул в каждый слой каждого чекпоинта. Главный итог: на этом масштабе заметнее всего различается способ хранения позиции токена, то есть номера слова в тексте. Для грамматики и смысла при одинаковой ошибке обучения (loss) модели выглядят похоже. Заголовочные 99% и 29–42% — это метрика R² (насколько точно простая модель угадывает номер токена по скрытому состоянию слоя; 100% — идеально).

Что и как сравнивали

Взяли три способа дать модели порядок слов. RWKV-7 хранит рекуррентное состояние, и порядок встроен в то, как оно обновляется. Трансформер с RoPE получает позицию, поворачивая запросы и ключи внутри внимания. Трансформер NoPE вообще не имеет позиционного кодирования: единственный источник порядка у него — причинная маска, то есть запрет смотреть на слова впереди.

Размеров два (56,6M и 115M параметров), языков два (русский и английский), на каждую модель по 1–2 млрд токенов. Корпус примерно на 76% состоит из Википедии. На каждый прогон сохранили по 21 чекпоинту, а у 9 из 12 прогонов есть второй сид инициализации.

Инструмент — линейные пробы. Это простая модель, которая по замороженному скрытому состоянию токена пытается угадать свойство: номер позиции, роль в предложении, падеж, время глагола, тональность. Если проба справляется, информация в слое лежит «на виду». Оговорка автора: проба показывает, что читается, а не то, что модель реально использует.

Позиция хранится по-разному

Лучший слой NoPE дал R² 99%, RoPE — 38–51%, RWKV-7 — 29–42%. Порядок одинаков для обоих языков, размеров и сидов. NoPE добирается до R² около 98% уже к третьему слою и держит не ниже 85% до 11-го, а на последнем падает до 22–44%.

Любопытная деталь: даже случайно инициализированный трансформер читает позицию с R² 44–56%, потому что одна причинная маска уже даёт сигнал. У RoPE в ходе обучения этот показатель падает: на русской модели 56,6M с 51% до 38%. Автор предполагает, что раз позиция подаётся прямо в внимание, хранить её в остаточном потоке больше незачем, но этого он не проверял.

Глубина слова в дереве зависимостей показывает тот же порядок, но разрыв намного меньше — 2–6 процентных пунктов. Глубина связана с номером слова в предложении, поэтому автор считает это тем же эффектом, а не отдельной находкой.

Почему важно сравнивать при равном loss

У RWKV-7 финальный val-loss ниже, чем у RoPE, на 0,10–0,13, так что финальные чекпоинты сравнивать нечестно: модель с меньшей ошибкой выглядит «умнее» почти по любой пробе. Пример: на финале RWKV лучше различает русские омонимы (87,6% против 81,9%), но при равном loss этот отрыв сжимается или пропадает. Поэтому автор интерполировал результаты проб по loss между 21 чекпоинтом и сравнивал архитектуры на четырёх уровнях loss. Различие считалось устойчивым, только если оно совпало в обоих сидах, имело один знак на всех уровнях и превышало разброс между сидами.

Остальные различия мелкие — 0,3–3 процентных пункта. NoPE чуть слабее на роли слова в предложении, времени и виде глагола (на 0,4–2,3 п.п.), а между RWKV и RoPE различий практически нет. В английских моделях RWKV немного выше NoPE на омонимах и тональности, но наборы крошечные (16 слов на смысл), и автор считает сигнал слабым.

Есть и наводка: пик синтаксических проб у RWKV приходится на слои на 1–4 ниже, чем у трансформеров. Но кривые у максимума плоские, а разброс номера слоя между сидами не оценивался.

Что делать на практике

Урок прежде всего методологический. Сравнивая архитектуры, чекпоинты или конфиги, фиксируйте loss, а не число шагов или размер модели, и не верьте фразе «архитектура X лучше понимает Y» без такого контроля.

Ограничения серьёзные: модели маленькие, сидов два и они меняют только инициализацию, порядок данных не варьировался, семантические тесты автор написал сам, а утечку данных проверил только для русского синтаксиса. Результат ничего не говорит о моделях крупнее 115M и о том, какая из них лучше использует позицию.

Всё открыто: код проб и результаты лежат на GitHub под Apache 2.0, а все 21 чекпоинт каждого из 12 прогонов сида 0 (86,5 ГБ) — на Hugging Face. Код обучения и конфиги пока не опубликованы, поэтому пробы повторить можно сразу, а само обучение — нет.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что и как сравнивали?

Взяли три способа дать модели порядок слов. RWKV-7 хранит рекуррентное состояние, и порядок встроен в то, как оно обновляется. Трансформер с RoPE получает позицию, поворачивая запросы и ключи внутри внимания. Трансформер NoPE вообще не имеет позиционного кодирования: единственный источник порядка у него — причинная маска, то есть запрет смотреть на слова впереди. Размеров два (56,6M и 115M параметров), языков два (русский и английский), на каждую модель по 1–2 млрд токенов.

Что известно по теме: позиция хранится по-разному?

Лучший слой NoPE дал R² 99%, RoPE — 38–51%, RWKV-7 — 29–42%. Порядок одинаков для обоих языков, размеров и сидов. NoPE добирается до R² около 98% уже к третьему слою и держит не ниже 85% до 11-го, а на последнем падает до 22–44%. Любопытная деталь: даже случайно инициализированный трансформер читает позицию с R² 44–56%, потому что одна причинная маска уже даёт сигнал. У RoPE в ходе обучения этот показатель падает: на русской модели 56,6M с 51% до 38%.

Что известно по теме: почему важно сравнивать при равном loss?

У RWKV-7 финальный val-loss ниже, чем у RoPE, на 0,10–0,13, так что финальные чекпоинты сравнивать нечестно: модель с меньшей ошибкой выглядит «умнее» почти по любой пробе. Пример: на финале RWKV лучше различает русские омонимы (87,6% против 81,9%), но при равном loss этот отрыв сжимается или пропадает. Поэтому автор интерполировал результаты проб по loss между 21 чекпоинтом и сравнивал архитектуры на четырёх уровнях loss.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…