EDU-Jev 4B оценивает работы учеников с точностью 67,6% и обходит коммерческие API на 9,4 п.п.

Группа из King's College London (Jiazheng Li и Yulan He) представила EDU-Jev — семейство компактных моделей для автоматической оценки учебных работ. Модели на 0,8B, 2B и 4B параметров не пишут рассуждений: они получают контекст задания и вопрос с заранее заданными вариантами и за один прямой проход возвращают распределение вероятностей по этим вариантам. На двенадцати образовательных бенчмарках версия 4B набрала среднюю точность 67,6%. Это на 9,4 процентного пункта выше самого сильного из пяти коммерческих API для таких решений и на 18,7 пункта выше лучшей открытой 4B-модели того же типа.

Зачем оценке «система один»

В образовании большинство решений устроено одинаково: поставить ответу от 0 до 3 баллов по рубрике, проверить, есть ли в тексте критерий проверки, найти первый неверный шаг в решении. Варианты известны заранее. Генеративные модели обычно делают это через рассуждение и итоговую метку, и авторы называют три проблемы такого подхода. Ответ нужно парсить, и он может выйти за допустимые варианты. Стоимость растёт с длиной вывода, а reasoning-модели тратят много токенов даже на простые случаи. Уверенность, высказанная словами, не обязана совпадать с реальной вероятностью ошибки, а именно она нужна, чтобы отправлять сомнительные случаи на проверку человеку.

Интерфейс «типизированных решений» ранее ввела компания TypeSafe AI в своей размещённой модели Jev (в статье тестировалась через API версии 1.14). Для сравнения есть независимый публичный набор JevBench. Открытые аналоги, по данным авторов, обучены в основном на общих данных и слабо справляются с оценкой по рубрике.

Pointer head и мягкие метки

Вместо языковой головы EDU-Jev использует pointer head. После каждого варианта ответа в запросе стоит маркерный токен, в конце — токен решения. Двухслойный MLP с общими весами читает скрытое состояние каждого маркера и выдаёт логит, а softmax считается ровно по заявленным вариантам. Модель может ошибиться только в выборе, но не выдать невалидный ответ. В контролируемых экспериментах на 0,8B «буквенная» голова, которая читает логиты меток A/B/C, оказалась значимо хуже и на 3,5 пункта реже давала одинаковый ответ при перестановке вариантов.

Обучение идёт одним этапом с мягкой кросс-энтропией: целью служит распределение оценок разметчиков, если их было несколько, иначе one-hot. Базой послужили Qwen3.5 с полным дообучением. Датасет — около 1,5 млрд токенов, или 4,6 млн решений: оценка коротких ответов и эссе, пошаговая проверка решений, ошибки учеников, диалоги с тьюторами, в основном на английском и китайском. Расписание learning rate типа warmup-stable-decay завершается на ещё не виденном хвосте эпохи, а финальные веса получены усреднением трёх чекпойнтов (половина, три четверти и конец обучения). По словам авторов, это стоит несколько десятых пункта на данных из обучающего распределения и даёт около одного пункта вне него. Обучение с подкреплением на pointer-выходе не превзошло продолжение обычного supervised-обучения.

Что показали замеры и где предел

На 20 наборах, разделённых на общие решения, рассуждения и образование, 4B-модель показала 67,6% против 45,2–48,9% у открытых 4B-моделей и 49,2–58,2% у коммерческих API. Версии 2B и 0,8B набрали 63,2% и 62,8%, то есть тоже обошли все базовые модели в среднем по образованию. На четырёх образовательных наборах из других доменов 4B сравнялась с сильнейшим API. Модель 2B обрабатывает около 150 решений в секунду на одной H100.

Универсальной модель не стала. На общих решениях 4B отстаёт от API на 3,2–6,7 п.п., на рассуждениях — от трёх из них на 2,2–3,7 п.п. Среди открытых 4B-моделей она сравнялась с JevK5-4B и на 1,3 пункта уступила OpenJev-4B. Рост размера давал больший выигрыш на переносе и общих рассуждениях, чем на точности в самом домене оценивания.

Есть и методологические оговорки. Калибровка проверялась эмпирически по ожидаемой ошибке калибровки (ECE) на 15 интервалах и без температурной подгонки. Это не гарантия на новых данных. Доверительные интервалы учитывают только выборку заданий, но не разброс между запусками. Часть меток в обучении синтетическая: их выдавали сторонние модели. Оценка без рубрики, эталонного ответа или ключевых пунктов намеренно не поддерживается. Наконец, модель не объясняет оценку, и для сценариев, где нужно обоснование для ученика или преподавателя, придётся добавлять отдельный слой.

Для команд, которые строят автоматическую проверку работ, вывод практический. Если решения сводятся к выбору из фиксированного набора по рубрике, небольшая модель с типизированным выходом может быть точнее и дешевле генеративного судьи. Вероятности пригодны для маршрутизации неуверенных случаев человеку.