Дешёвая модель-фильтр перед Claude Sonnet: формулировка вопроса дала AUC 0,95

Почти половина материалов, которые автор сохраняет в Telegram для блога, блогу не нужна. Но Claude Sonnet раз в сутки честно пишет полный разбор по каждому из них и тратит токены впустую. Решение в духе классического каскада: перед дорогой моделью поставить дешёвую, которая решает, стоит ли вообще её звать. Результаты первых двух недель автор описал на Habr.

Задача и схема

Исходная ситуация знакома любому, кто ведёт контент-пайплайн на LLM. Сохранять в «Избранное» легко, и туда попадает всё подряд: новости, ссылки, полезные и не очень статьи. Дальше за дело берётся Sonnet и по каждой единице готовит разбор. Часть материала из этого потока в блог не пойдёт ни при каких условиях, а оплачивается каждый.

Перед Sonnet автор поставил небольшую модель, которую называет Jev. Она не выносит вердикт «берём» или «не берём». Она отвечает вероятностью того, что материал годится для блога. Порог отсечения можно двигать, не трогая саму модель. Для задачи, где цена ошибки неравномерна, это удобнее бинарного ответа. Пропущенный хороший материал обходится дороже лишнего разбора.

Вопрос важнее модели

Главный вывод публикации в том, что формулировка вопроса к фильтру повлияла на результат сильнее, чем выбор самой модели. По метрике AUC два варианта постановки задачи разошлись как 0,46 и 0,95.

Первое число хуже подбрасывания монетки: AUC 0,5 означает, что модель не отличает нужное от ненужного. Второе близко к хорошему классификатору. Разрыв получился без смены весов и без дообучения, только за счёт того, как задан вопрос. Для тех, кто выбирает между «взять модель покрупнее» и «переписать промпт», это аргумент в пользу второго. Сначала стоит мерить AUC на размеченной выборке и лишь потом менять модель.

Что известно из анонса

• Входной поток: всё, что автор сохраняет в Telegram.
• Дорогая модель: Claude Sonnet, один проход в сутки.
• Доля лишнего: почти половина сохранёнок для блога.
• Фильтр: дешёвая модель Jev, ответ в виде вероятности.
• Качество: AUC 0,46 против 0,95 в зависимости от формулировки вопроса.
• Наблюдение: журнал за две недели работы.
• Защита: в коде есть предохранители, их устройство раскрыто в полной статье.

Подробности, которых в анонсе нет: цены, точный порог, размер разметки, доля ложных отказов. Без них реальную экономию оценить нельзя, и для проверки нужен полный текст.

Что можно перенять

Схема переносится на любой пайплайн, где дорогая модель обрабатывает неоднородный поток: разбор заявок, модерация, триаж обращений, подготовка дайджестов. Несколько практических шагов, которые следуют из опыта автора:

1. Размечьте хотя бы небольшую выборку вручную и считайте AUC до запуска. Без этого ошибка в формулировке останется незамеченной. 2. Просите у фильтра вероятность, а не да или нет. Порог тогда настраивается отдельно. 3. Заложите предохранители: что происходит, если фильтр недоступен, отвечает странно или режет слишком много. Безопасное поведение по умолчанию лучше тихой потери материалов. 4. Ведите журнал решений фильтра и периодически просматривайте отсечённое. Две недели записей показывают то, чего не видно на старте.

Метод не требует ни новых моделей, ни инфраструктуры. Достаточно дешёвого вызова перед дорогим и дисциплины в измерениях.