Claude за час поправил 165 весов медицинской модели и поднял recall с 76 до 90%

Две недели назад MIT выложили работу Sparks of Weight-Space Programming: LLM получает файл с весами чужой модели, разбирается в нём и правит без обучения. Самый громкий результат: маленькая Qwen на школьной математике подскочила с 7,9% до 48,1% верных ответов. Продакт из RnD в MedTech решила проверить идею на медицинской модели. Получилось, но с оговорками, которые важнее самого успеха.

Что за эксперимент

Взяли OpenSpliceAI, открытую версию SpliceAI. Эта сеть смотрит на участок ДНК и предсказывает, где ген «разрезается» при сборке белка. Чтобы оценить мутацию, модель запускают дважды, на исходной и изменённой последовательности, и смотрят разницу ответов. Такой скор используют в рекомендациях ClinGen, так что от него зависят заключения реальных генетических лабораторий. Модель маленькая, 699 тысяч параметров, и работает на ноутбуке без GPU. Лицензия открытая, в отличие от оригинала.

Claude Opus 5.5 получил задачу: улучшить различение опасных и безвредных мутаций из ClinVar. Обучать модель и автоматически перебирать значения было нельзя. Проверяли на хромосомах, которых Claude не видел, плюс следили, чтобы основная работа модели не просела.

Что нашёл Claude

Интереснее всего не правка, а диагноз. Настоящие точки разреза модель определяет с вероятностью около 99%. Опасная мутация заметно снижает уверенность внутри сети, но на выходе это почти не видно: при таких значениях кривая вероятности плоская. Модель «знает», что сайт повреждён, а итоговый скор этого не показывает.

Лечение оказалось простым. Claude умножил логиты последнего слоя на 0,35, то есть поднял температуру softmax, и вдвое усилил сигнал от участка ДНК рядом с точкой разреза. Всего две правки, 165 изменённых весов. Результат на скрытом тесте: AUPRC вырос с 0,939 до 0,975, а доля найденных опасных мутаций при том же числе ложных срабатываний — с 76% до 90%.

Подвох: градиент не хуже

Дальше автор честно проверила альтернативы. 86% прироста дала одна температура, и простой перебор нашёл бы то же значение. Обычное дообучение тех же весов дало AUPRC 0,970–0,971, то есть в пределах погрешности от Claude. Ансамбль из пяти копий дал 0,953, и тут Claude выиграл. То же сработало и у MIT: если у исходной Qwen выключить режим рассуждений, она сама набирает около 46%. Правка убирает зацикливание, а не учит математике.

По метрике ничья. По пониманию выигрывает Claude: градиент отдаёт новые веса и молчит о причинах, а LLM за час объяснил, что ломает скор и где это чинится.

Ограничения

• Один эксперимент, одна модель, один запуск Claude.
• Шкала вероятностей сдвинулась, клинические пороги не работают: при пороге 0,8 модель находит 15% опасных мутаций вместо 49%. Нужна перекалибровка.
• Трюк с температурой специфичен: скор здесь разность двух вероятностей, у обычного классификатора он бы ничего не дал.
• Часть меток ClinVar сама опиралась на SpliceAI.
• Нового навыка модель не получила: мутации, которые она не распознаёт, по-прежнему пропускаются.

Что делать на практике

Не стоит ждать, что LLM «перепрошьёт» ваши веса лучше градиента. Но как инструмент отладки он полезен: попросите его прочитать сеть, найти, где теряется сигнал, и предложить гипотезу. Затем проверьте её дешёвым перебором и дообучением. Если простая настройка даёт 86% эффекта, возможно, она и нужна, а ценность агента в том, что он объяснил, почему. Код и таблицы выложены на GitHub, эксперимент можно повторить на CPU.