SAE на Gemma-2-2B: доля совпавших признаков выросла с 2% до 29% при 50M токенов

Sparse autoencoders (SAE) стали одним из основных инструментов интерпретируемости языковых моделей, и обучают их, как правило, на сотнях миллионов или миллиардах токенов активаций. Проверяли ли, что такой масштаб действительно необходим, почти никто. Авторы новой работы с Hugging Face Daily Papers сделали это: взяли четыре архитектуры SAE, три языковые модели и бюджеты от 5M токенов до эталонных 500M. Главный итог: ответ зависит от того, что именно вы измеряете. Для Gemma-2-2B с BatchTopK доля строго совпавших признаков вырастает с 2% на 5M токенов до 29% на 50M.

Две меры сходимости

Исследователи развели два понятия. Первое — функциональное поведение: качество реконструкции и результаты на стандартных бенчмарках SAE. Второе — воспроизводимость «один к одному»: найдёт ли независимо обученный SAE те же самые признаки, что и эталонный.

Разница получилась заметной. Реконструкция часто подходит к уровню полного эталона уже при существенно меньших бюджетах. Воспроизводимость признаков при этом продолжает улучшаться по мере роста данных. SAE может выглядеть «готовым» по метрикам, но словарь признаков внутри него остаётся нестабильным.

Ключевые наблюдения из работы:

• Масштаб эксперимента: 4 архитектуры SAE, 3 языковые модели, бюджеты от 5M до 500M токенов.
• Gemma-2-2B, BatchTopK: строго совпавших признаков 2% при 5M и 29% при 50M токенов.
• Потребность в данных сильно зависит от метрики: реконструкция насыщается раньше, воспроизводимость нет.
• Случайная выборка лучше сохраняет исходное распределение активаций и обычно выигрывает по реконструкции.
• Выборка по разнообразию часто улучшает результат AutoInterp.

Как выбирать данные

Важен не только объём, но и способ отбора. Случайная выборка точнее воспроизводит распределение активаций, поэтому для задач, где нужна хорошая реконструкция, она обычно предпочтительнее. Выборка на основе разнообразия охватывает больше редких режимов поведения модели, и это нередко повышает оценки AutoInterp, то есть автоматической интерпретации признаков. Единого «лучшего» сэмплера нет, он подбирается под цель.

Теоретический раздел работы объясняет, почему две метрики расходятся. Статистическая согласованность обучения на подвыборке — это одно условие. Восстановление признаков один к одному требует более жёстких условий идентифицируемости и оптимизации. Иначе говоря, даже если подвыборка даёт хорошее приближение к целевому функционалу, это не гарантирует, что разные запуски придут к одному и тому же набору признаков.

Что делать на практике

Вывод для команд, которые обучают SAE, довольно приземлённый. Если задача — быстро получить рабочий SAE с хорошей реконструкцией, бюджет в сотни миллионов токенов, судя по результатам, часто избыточен. Это удешевляет эксперименты, особенно при переборе архитектур и гиперпараметров.

Если же вы публикуете утверждения о конкретных признаках, например «этот латент кодирует такое-то понятие», одних метрик реконструкции мало. Нужна явная проверка воспроизводимости: несколько независимых запусков и сопоставление признаков между ними. Низкая доля совпадений на малом бюджете, как те же 2% при 5M токенов, служит предупреждением, что отдельные признаки могут оказаться артефактом конкретного обучения.

Наконец, сэмплер стоит выбирать под цель. Для реконструкции начните со случайной выборки, для интерпретируемости по AutoInterp проверьте отбор по разнообразию. Авторы подчёркивают, что при согласованных целях и бюджетах исследования SAE могут стать дешевле и надёжнее. Оговорка: цифры приведены для конкретных моделей и архитектур, и перенос на другие масштабы требует отдельной проверки.