Энкодер на 17 млн параметров выбирает инструмент за 14 мс на CPU

Последний шаг многих LLM-пайплайнов выглядит скромно: выбрать один вариант из заранее известного набора. Какой инструмент вызвать, под какую метку подвести запрос, на какой маршрут его отправить. Обычно это делают промптом к большой модели, и это медленно, дорого и чувствительно к порядку вариантов. Tardelli Ronan Coelho Stekel проверил, насколько маленьким может быть энкодер для такой работы, и выложил в открытый доступ семейство Crivo из шести моделей от 17 миллионов до 1 миллиарда параметров.

Главные цифры. Модели на 68M и 150M обходят zero-shot классификатор DeBERTa-v3 на 435M параметров на 4,9 и 5,9 пункта точности на 209 задачах System1-Arena, прошедших аудит на пересечение с обучающими данными. На 145 задачах, которых модели не видели при обучении, они держатся как минимум на уровне DeBERTa. Самая маленькая модель, 17M, отвечает на запрос за 14 мс по медиане на 16 потоках CPU. У классификатора DeBERTa на тех же условиях медиана составляет 728 мс.

Читать варианты вместе или по одному

Второй вопрос исследования важнее для архитекторов систем. Энкодер можно кормить всеми вариантами сразу (joint) или оценивать каждый вариант отдельно, в паре с запросом (per-option). Автор провёл трёхсидовое исследование на модели в 32M параметров на отложенной выборке из набора в 37 бенчмарков.

Per-option выигрывает 5,8 пункта скорректированного на случайность навыка при одинаковом числе шагов оптимизатора. При примерно равных вычислительных затратах на обучение отрыв сокращается до 2,8 пункта. Два внешних бенчмарка подтверждают направление эффекта, но на невиданных задачах разница статистически незначима.

Преимущество есть не всегда. Оно появляется только при инициализации от реранкера: его вход в виде пары «запрос — кандидат» совпадает с тем, как читает варианты per-option схема. Если стартовать с сырого энкодера, оба подхода неразличимы.

Цена точности и слабое место joint

Per-option требует в 5–13 раз больше проходов энкодера. По медианной задержке это не более чем двукратная потеря, а по средней уже больше чем четырёхкратная: длинные списки вариантов бьют по хвосту. Поэтому в релиз попали joint-модели.

У joint-подхода есть измеренный изъян: перестановка вариантов меняет 12–23% ответов. У per-option схемы такой зависимости нет, ответы не меняются совсем. Для продакшена это серьёзный довод: порядок инструментов в списке не должен влиять на выбор, но здесь влияет.

До 68M параметров модели Crivo лидируют в своём размерном диапазоне на публичном лидерборде. Оценка идёт по приватным тестам, преимущественно близким к обучающему распределению, так что это сильный результат для задач, похожих на обучающие, но не гарантия переноса.

Что в релизе

• Семейство Crivo: шесть открытых joint-энкодеров от 17M до 1B параметров, коллекция на Hugging Face (tardellirs/crivo).
• 68M и 150M: +4,9 и +5,9 пункта точности к DeBERTa-v3 (435M, zero-shot) на 209 задачах System1-Arena.
• 145 невиданных задач: паритет с DeBERTa-v3 как минимум.
• 17M: медиана 14 мс на 16 потоках CPU против 728 мс у DeBERTa-v3.
• Исследование на 32M: per-option лучше joint на 5,8 пункта при равных шагах и на 2,8 при равных вычислениях, три сида, 37 бенчмарков.
• Стоимость per-option: в 5–13 раз больше проходов, до 2× по медиане задержки и более 4× по средней.
• Чувствительность к порядку: 12–23% ответов joint меняются при перестановке вариантов.
• Код и результаты опубликованы в репозитории crivo-decision-encoders на GitHub.

Где это пригодится

Для роутинга запросов между моделями, выбора инструмента агентом и классификации по закрытому набору меток эти энкодеры дают дешёвую альтернативу вызову LLM. Модель на 17M укладывается в 14 мс на обычном процессоре без GPU, и это меняет экономику: решение можно принимать на каждом шаге агентного цикла, а не копить в отдельный дорогой запрос.

Практические выводы такие. Если важна стабильность, стоит либо рандомизировать и усреднять порядок вариантов, либо использовать per-option схему, согласившись на рост задержки в хвосте. Если вы сами обучаете такой выбор, начинайте с реранкера: из сырого энкодера выигрыша от чтения по одному не получить. Перед внедрением нужно прогнать модель на собственных задачах: паритет на невиданных данных означает «не хуже DeBERTa», а не превосходство, и главные отрывы получены там, где распределение близко к обучающему.