MIT: ослабленная копия учит модель рассуждать — до +13 пунктов точности

Команда из Массачусетского технологического института придумала, как улучшить модель рассуждений без внешнего учителя, эталонных решений и проверяющей среды. Метод называется WISD. Берут исходную модель и делают из неё заведомо более слабую копию: либо огрубляют веса (квантизация), либо выбрасывают самые малые (прунинг). Потом обучают оригинал на разнице между двумя версиями. Самый заметный результат у Qwen3.5-4B. На HMMT 2025, соревновании по олимпиадной математике Гарварда и MIT, её точность выросла с 57,7% до 70,5%. На LiveCodeBench v6, подборке задач по программированию, она поднялась с 39,1% до 56,7%.

Зачем вообще ослаблять модель

Самодистилляция, когда модель учит сама себя, уже стала обычной практикой. Но популярные схемы требуют «привилегированной информации»: эталонных решений, экспертных разборов или обратной связи от среды. Такой учитель знает больше ученика, потому что видит подсказку. Если у вас только пачка задач без ответов, схема не работает.

Авторы заходят с другой стороны. Сильнее становится не учитель. Сильным членом пары остаётся исходная модель, а слабого партнёра создают искусственно, портя её веса. Разница в предпочтениях токенов между ними даёт сигнал, в какую сторону улучшать политику. Похожая идея уже была в работах про «слабый учит сильного». Новизна в том, что обе модели берутся из одного чекпоинта.

Как это работает технически

Процедура состоит из нескольких шагов:

• Исходная модель генерирует решения для неразмеченных задач. В экспериментах это 3200 задач, по четыре ответа на каждую.
• Две замороженные модели, оригинал и ослабленная копия, оценивают каждый токен в этих ответах при одинаковом контексте. Токен получает положительный сигнал, если оригинал считает его вероятнее, чем слабая копия, и отрицательный, если наоборот.
• Ученик стартует с весов оригинала и учится смещать распределение в сторону токенов с большим отношением вероятностей. Траектории и обе оценивающие модели в ходе обучения не меняются. На инференсе работает один ученик, никакой слабой копии рядом нет.

Копию делают двумя способами. Ни одному не нужны калибровочные данные или дообучение:

• Квантизация малой разрядности. Веса делятся на группы, и внутри каждой значения округляются до небольшого числа уровней по симметричной схеме.
• Прунинг по величине. Внутри группы обнуляются веса ниже относительного порога, а потом норма каждой выходной строки возвращается к исходной.

Портят только проекции внимания и полносвязных слоёв, включая эксперты в моделях Mixture-of-Experts. Эмбеддинги, выходные головы, нормализации и маршрутизацию не трогают. Архитектура и токенизатор остаются прежними, поэтому предсказания копии можно напрямую сравнивать с оригиналом. Если бы обе копии были идентичны, сигнала бы не было. Порча весов создаёт разницу, зависящую от конкретного токена.

Что показали эксперименты

Метод проверили на пяти моделях разных семейств и размеров, плотных и MoE: Qwen3-4B, OLMo-3-7B-Think, Qwen3.5-4B, Qwen3.6-27B и Qwen3.6-35B-A3B. Тестов пять: три математических, включая HMMT 2025 и задачи Математической ассоциации Америки 2026 года, и два на код, включая LiveCodeBench v6. Математику мерили как среднее по 32 попыткам на задачу, код по четырём.

• Квантизация подняла среднюю точность над исходными моделями на 4,0 пункта, прунинг на 5,5.
• Улучшение зафиксировано в 21 из 25 пар «модель — тест» для квантизации и в 23 из 25 для прунинга.
• Больше всех выиграла Qwen3.5-4B: среднее по пяти тестам выросло на 11,3 пункта при квантизации и на 13,4 при прунинге.
• Прунинг добавил Qwen3.6-27B в среднем 5,2 пункта.
• Квантизация добавила Qwen3.6-35B-A3B 5,9 пункта. На HMMT 2025 она выросла с 68,5% до 74,6%, на LiveCodeBench v6 с 61,8% до 69,5%.

Авторы утверждают, что на Qwen3-4B и OLMo-3-7B-Think оба варианта конкурентны с методами OPSD и SDPO, которым нужны эталонные решения или обратная связь. Средние по пяти тестам у WISD выше опубликованных цифр этих базовых методов. Важная оговорка: сравнение идёт по уже опубликованным результатам, а не по перезапуску всех методов в одинаковых условиях. Это препринт, независимой проверки пока нет.

Что это даёт на практике

Для команд, которые дообучают открытые модели на собственных данных, интересна цена входа. Нужны только чекпоинт и набор задач без ответов. Не нужны ни разметчики, ни проверяющая среда, ни сильная внешняя модель. Операции над весами простые и не требуют калибровки, а один из вариантов ослабления, квантизация, и так входит в обычный инструментарий развёртывания.

Остаются вопросы. Результаты получены на математике и коде, где есть чёткие критерии правильности. Неясно, перенесётся ли метод на открытые задачи без таких критериев. Эксперименты шли на моделях до 35 млрд параметров. Код авторы выложили на GitHub (jet-ai-projects/WISD), так что проверить цифры на своих моделях можно уже сейчас.