Я написал 61 тест для AI-ментора. Потом выяснилось, что тестам тоже нельзя верить

Месяц назад разработчик встроил AI-ментора в свою учебную платформу. Модель видит уроки курса, прогресс студента и его последнюю попытку по заданию. Чтобы выбрать модель и промпт не по ощущениям, а по цифрам, он создал стенд из 61 автоматического теста. Через неделю выяснилось, что стенд тоже ошибается. Он засчитывал оборванные ответы, пропускал готовые решения под другими именами переменных, валил правильные отказы. Эта статья про то, как устроен стенд, что он помог найти, где он создавал ложную уверенность и почему разработчик перестал доверять модели совсем.

Тесты: 61 вопрос в 13 группах

Стенд состоит из вопроса и набора автоматических проверок: подстроки, вызовы инструментов, длина ответа, язык. Каждый вопрос включает реплику студента и набор ожиданий. 61 вопрос разбит на 13 групп: уроки (12), атаки на промпт (10), эпистемическая дисциплина (6), прогресс студента (5), код студента (5), инженерное мышление (5), границы темы (4), инженерная точность (3), ссылки на уроки (3), формат и язык ответа (2), честность (2), контекст диалога (2), тон (2).

Ментор работает с тремя инструментами: поиск по 272 настоящим урокам курса, прогресс студента (фикстура на стенде), последняя попытка студента (фикстура). На стенде студент имеет функцию Reverse, которая меняет исходный срез на месте, хотя по контракту должна вернуть новый.

Три модели: DeepSeek, YandexGPT, Qwen

Разработчик выбирал из моделей, доступных с российских серверов. Claude и OpenAI отпали: их API отказывает по IP. Yandex AI Studio предоставляет три варианта: DeepSeek V4 Flash, YandexGPT Pro и Qwen3.6 35B.

Первый прогон на 32 вопросах: • DeepSeek V4 Flash: 31/32 проверок, 5 из 5 вопросов про код студента, латентность 6,5 сек. • YandexGPT Pro: 28/32 проверок, только 3 из 5 по коду, латентность 1,4 сек. • Qwen3.6 35B: 2/7 проверок, прогон остановлен.

YandexGPT провалил главное: не вызывал инструмент на просьбу разобрать код студента. Qwen не подошёл конфигурации — режим рассуждения с лимитом 1024 токена требует всего бюджета на мысли.

По цене: DeepSeek 25,6₽ за 32 вопроса, YandexGPT 116₽. Разница не в прайс-листе, а в тарифах кэша: у DeepSeek кэшированный вход стоит вчетверо дешевле, у YandexGPT столько же, как обычный.

Где стенд врал разработчику

На базе из 57 вопросов DeepSeek V4 Flash прошёл три прогона подряд: 50, 48 и 50 проверок. Разработчик выделил три корзины провалов: ложные ошибки стенда (исправлены), перебор длины (намеренное ограничение) и существенные ошибки модели.

Три основные повторяющиеся ошибки: • Готовое решение на просьбу помощи — один раз из трёх модель выдавала полное решение вместо подсказки. Для платформы, где задания — продукт, это худший провал. • Лекция вместо ответа — на вопрос «Что делает make в Go?» три раза из трёх отвечала курсом: ёмкость, два блока кода, var-декларация. • Перебор вариантов вместо диагноза — на ошибку «connection reset by peer» отвечала типичными причинами, хотя промпт просит не заполнять пробелы словами «обычно» и «скорее всего».

Две скрытые ошибки самого стенда: 1. Оборванный ответ как законченный. Провайдер вернул finish_reason: length, стенд на это не смотрел и засчитал как успех. 2. Режим рассуждения DeepSeek по умолчанию. Разработчик параметр не передавал, стенд работал со скрытым режимом. На reasoning_effort: none прогон на 10% дешевле и на 40% быстрее, но провалы иные. На reasoning_effort: high цена выросла на 55%, латентность на 65%, появился хвост: на вопрос про Kubernetes модель ходила в поиск 11 раз за 36 секунд и 13₽.

Разработчик оставил DeepSeek V4 Flash на умолчанию. Цифра 50 из 57 — это не процент правильных ответов, а количество прошедших автоматических проверок. Каждое решение он читает вручную, потому что проверка по подстроке может пропустить плохой ответ и завалить хороший. Самым полезным оказался не выбор модели, а список мест, где стенд создавал ложную уверенность.