Jev перед Claude Sonnet: как формулировка вопроса подняла AUC до 0,95

Лаборатория и проблема дорогих пустых разборов

Автор ведёт конвейер под названием Лаборатория. Всё интересное за день — рилсы, посты, ссылки на репозитории — сохраняется в Telegram. Раз в сутки скрипт забирает новое, и Claude Sonnet пишет по каждому материалу разбор-инструкцию. Потом второй проход в роли редактора решает, публиковать разбор или отправить в архив.

Проблема: в Избранном вперемешку лежат полезные гайды, рабочие сообщения, личное и картинки без единого слова. Когда разметили 67 материалов, лишними оказались 28. Sonnet честно писал полный разбор на каждый такой материал, но редактор его выкидывал — чистая трата времени и лимита. Sonnet работает через подписку Claude Code с недельным лимитом, поэтому нужен был дешёвый фильтр, чтобы отсеивать очевидный мусор ещё до большой модели.

Jev от TypeSafe: модель закрытых вопросов

Решением стала Jev — модель от стартапа TypeSafe, выпущенная 15 сентября 2026. Она предназначена для закрытых вопросов: отправляешь текст и словарь вопросов, получаешь не абзац текста, а значения с вероятностями. Вход стоит $0,042 за миллион токенов, выход бесплатный.

Три типа вопросов:

• noul: возвращает вероятность «да» от 0 до 1
• choice: выбирает из присланного списка (до 255 вариантов) и отдаёт вероятность каждого плюс confidence
• score: оценивает по упорядоченной шкале

Все вопросы про один текст считаются за один проход. По замерам самой TypeSafe ответы Jev совпадают с эталоном из больших моделей в двух случаях из трёх (68%).

Когда автор пробовал, новых пользователей TypeSafe не регистрировала. Но Jev есть в Cloudflare Workers AI под именем typesafe/jev с пометкой Zero data retention. Особенности: платить можно только с предоплаченного баланса AI Gateway, и ответ лежит на уровень глубже, чем в документации TypeSafe (result.result.answers).

Главный урок: формулировка важнее модели

До Лаборатории автор пробовал Jev на другой задаче — отсеивал факты для базы знаний. Первый вопрос был общий: «это полезный факт?» На размеченном наборе AUC 0,46 — хуже монетки. Потом переписал вопрос, чтобы в нём была настоящая причина: «это про реальный мир, а не правка документа или технические детали». Та же модель, те же тексты, и AUC вырос до 0,95. На вкусовых решениях выше 0,72–0,77 не поднялся — там Jev годится только как осторожный предфильтр.

Правило перенёс в Лабораторию: не спрашивать модель про «полезность» вообще, а перечислить настоящие причины, по которым материал уходит в архив.

Спецификация для

Лаборатории: шесть категорий вместо нечётких вопросов

Вместо нескольких вопросов «да/нет» используется один choice, где варианты исключают друг друга и повторяют реальные причины отказов из журнала редактора:

• guide: показан или назван конкретный инструмент, сервис, репозиторий, промпт, скилл, настройка или рабочий приём, который читатель может найти и повторить. Считается, даже если это реклама
• idea: схема, фреймворк, формула или пошаговая модель, которую можно разложить по пунктам
• no_text: текста и речи почти нет, только ссылка, картинка или фото
• owner_work: рабочее самого владельца, его сообщение коллеге, черновик поста, ссылка на собственный продукт
• personal: личное, не про работу с AI — спорт, семья, здоровье, быт
• no_method: мнение, тезис, реклама или новость без инструмента, приёма или схемы

Вероятность «оставить» считается как сумма вероятностей guide и idea. Если она ниже порога 0,2, материал не доходит до Sonnet.

Две недели боевой работы: $0,0028 и одна экономия

С 26 сентября по 6 октября в журнале 26 вызовов. Все вместе стоили $0,0028 — около сотой доли цента за вызов на текстах от 90 до 3100 знаков. Из Москвы ответ идёт дольше заявленных 70–500 мс (TypeSafe мерила с ноутбуков на Западном побережье): медиана 1,3 секунды, первый вызов 2–9 секунд, следующие обычно укладываются в полторы.

В первом боевом прогоне 5 октября Jev отсеял один материал — медиафайл почти без текста с вероятностью 0,01. Экономия в деньгах смешная, а по лимиту заметная: раньше каждый такой материал съедал полный разбор Sonnet и проход редактора.

Где Jev не работает

Открытые задачи, где нужно объяснение человеческим языком — по-прежнему работа LLM. Вкусовые решения без чётких признаков (AUC 0,72–0,77 автора это подтверждают). Счёт, даты, длинный шумный текст — модель читает вопрос буквально, плохо считает и путается в датах. Чувствительные данные — тексты уходят в американский сервис через Cloudflare, поэтому что туда отправлять, лучше решить заранее.

Jev хорош там, где одна и та же мелкая развилка повторяется много раз, у неё есть понятные признаки, а ошибка в одну сторону обходится дешевле. У автора — отсев перед дорогой моделью.