MiniJev читает логиты и ускоряет классификацию запросов в 5,4 раза

Если модель должна выбрать отдел поддержки, поставить оценку срочности или ответить «да» либо «нет», полноценный текстовый ответ ей не нужен. Но обычный LLM-конвейер все равно заставляет ее последовательно генерировать JSON: скобки, ключи, кавычки и значения. Каждый новый токен ждет предыдущего, хотя само решение часто уже видно в распределении вероятностей после обработки промпта.

Автор прототипа MiniJev предлагает читать это решение прямо из логитов — чисел, которые модель вычисляет перед выбором следующего токена. Такой подход напоминает интерфейс Jev от TypeSafe AI, но не пытается воспроизвести саму модель: в эксперименте используется обычная Qwen 2.5 1.5B Instruct без дообучения. Все запускается на бесплатной Nvidia T4 в Google Colab.

Как получить решение без генерации текста

Представим обращение: «С меня дважды списали оплату, верните один платеж». Система задает модели три вопроса: сердит ли клиент, какой отдел должен принять заявку и насколько она срочная. Для каждого вопроса заранее перечисляются варианты, обозначенные буквами A, B, C и далее.

После одного прохода модель уже имеет логиты возможного первого токена ответа. MiniJev оставляет только логиты допустимых букв, применяет softmax и получает распределение вероятностей. Для отдела это может выглядеть так: billing — 99,99%, техническая поддержка — 0,005%, продажи — 0,001%. Никакие скобки или названия полей генерировать не приходится.

Код учитывает два практических нюанса. Во-первых, токенизатор может по-разному кодировать букву с пробелом и без него, поэтому вероятности допустимых односоставных токенов объединяются. Во-вторых, модель иногда предпочитает первый или последний пункт независимо от смысла. Для борьбы с таким смещением варианты циклически переставляются, после чего их логарифмические вероятности усредняются. Цена — дополнительные промпты и вычисления, особенно если вариантов много.

Скорость есть, честные вероятности — не сразу

На одном тестовом обращении медианное время MiniJev составило 0,1959 секунды. Генерация эквивалентного JSON заняла 1,0514 секунды — примерно в 5,4 раза больше. Это полезный ориентир, но не универсальный результат: замер сделан на одной модели, одной видеокарте и одном типе запроса. Кроме того, сравнение зависит от батчинга, длины JSON и количества перестановок вариантов.

Сырые вероятности нельзя автоматически трактовать как реальную уверенность. Модель обучалась предсказывать следующий токен, а не сообщать, как часто она права. Автор проверил калибровку на 600 примерах SST-2: 200 использовал для настройки Platt scaling, 400 — для теста. Точность осталась на уровне 92,7%, а ожидаемая ошибка калибровки снизилась с 6,8% до 2,5%. Результат обнадеживает, но это один набор данных и одно разбиение.

Где применять

Подход подходит для маршрутизации обращений, модерационных флагов, определения намерения, выбора следующего действия агента и оценок по фиксированной шкале. Он гарантирует, что ответ останется внутри заданного списка, но не гарантирует истинность: модель способна уверенно выбрать неправильный пункт.

Практический вывод простой. Если набор ответов известен заранее, сначала проверьте чтение логитов вместо генерации структурированного текста. Затем соберите хотя бы несколько сотен размеченных примеров из своей среды, откалибруйте вероятности и измерьте не только задержку, но и точность, ECE и стоимость дополнительных перестановок. Для открытых ответов и сложных объяснений этот прием не подходит — там генерация по-прежнему нужна.