Автор ИИ-суда ChatCourt урезал расход токенов на GigaChat с 1,7 до 0,55 млн за прогон дела
ChatCourt — симулятор арбитражного суда, где судью и оппонента играют нейросети, а студент выступает истцом или ответчиком. После перехода с Claude Sonnet на GigaChat Ultra модель зациклилась, а прогон дела съедал до 1,7 млн токенов. Узкое меню из 1–3 действий плюс кэш провайдера снизили расход до 0,55 млн токенов, а вызовов стало 62 вместо 100. Слабую в вызове функций модель выгоднее держать в жёстких рамках.
AI-обработка оригинала Habr AI; редакция Hamidun News
ChatCourt — это учебный симулятор арбитражного суда. Студент играет истца или ответчика, а судью, оппонента и подсказчика изображают нейросети. Токены — это единицы текста, за которые платят при обращении к модели. Автор проекта собрал тренажёр на Claude Sonnet, но в проде нужна российская модель GigaChat Ultra, и при переносе всё сломалось. Одно полное прохождение дела на Sonnet съедало 1,2–1,7 млн входных токенов, а на GigaChat после доработок хватило около 0,55 млн, и вызовов модели стало 62 вместо пиковых 100. Для тех, кто строит агентов на не самой «агентской» модели, это набор готовых уроков.
Что за тренажёр и почему он на российской модели
Идея родилась из эксперимента MIT: семь студенческих команд за месяц собирали маленький реактивный двигатель с помощью ИИ. До испытаний дошли две команды, запустился двигатель у одной. Нейросети галлюцинировали и поддакивали, а победители относились к подсказкам осторожнее и опирались на свои знания. Автор решил поставить студента в такое же положение.
Студент выбирает сторону и проходит шесть этапов: подготовка, предварительное заседание, судебное заседание, доказательства и ходатайства, прения, решение. Решение выносит ИИ-судья. Правильных ответов нет: каждое дело развивается по-своему, а преподаватель оценивает ход процесса, а не итог.
Модель должна быть российской: у вузов есть ограничения на иностранные ИИ-сервисы, китайские модели под них тоже попадают. Технически это синхронный монолит на FastAPI с SQLite, для пилота на несколько студентов хватает. Принцип такой: код решает, что допустимо, а модель решает, что делать дальше. Фреймворк LangGraph автор отверг. Изоляцию ролей пришлось бы писать самому, ведь судья не должен видеть стратегию сторон. А общий checkpointer хранил бы тексты студентов вместе со всем остальным.
Совместимость и зацикливание
Тесты шли на Sonnet, и автор решил, что формат вызова функций у него и у GigaChat одинаковый. Оказалось, Sonnet за один шаг вызывает несколько функций, а GigaChat только одну. Движок оказался почти несовместим с новой моделью, и его переписали.
Дальше модель стала повторять одну и ту же фразу. Если ответ модели движок отклоняет, он шлёт тот же промпт с пометкой об ошибке. Иногда промпт уходит один в один, а при почти нулевой температуре модель каждый раз выбирает самое вероятное слово. Ноль GigaChat не принимает. Температуры подобрали вручную: судья 0,2, ИИ-сторона и подсказки 0,3, служебные проверки 0,01. Выше поднимать нельзя: модель перестаёт слушаться инструкций и галлюцинирует.
От бесконечных циклов защитил режим «пауза»: движок видит повторы и останавливает процесс. Саму причину убрали правкой промпта. В него добавили пояснение, что не так и что сделать вместо этого, и 45 кодов отказов с примером исправления для каждого. Кроме того, добавили журнал хода с уже отклонёнными предложениями. Если ответ оборвался по длине, повтор идёт с пометкой «пиши короче» и лимитом 4000 токенов.
Но и этого не хватило: в одном прогоне судья семь раз подряд задал вопрос ответчику, хотя слово было у студента. Тогда ввели «ведомый» режим. Движок сам выбирает тип шага и предлагает модели от одного до трёх действий. Отклонённое за повтор действие убирается из меню до конца хода. Если слово у студента, судья может спрашивать только его.
Память, кэш и итоговая экономика
Своей памяти у модели нет. Перед каждым вызовом движок заново собирает для роли «стол» из семи секций: позиция роли, опись дела, протоколы прошлых заседаний, до 15 заметок роли, рабочая секция, последние 10–15 реплик и журнал хода. После вызова ничего не остаётся.
Кэш на стороне провайдера сэкономил заметную часть бюджета. К каждому вызову добавили заголовок X-Session-ID, хеш пары «попытка и роль». Без него кэш почти не срабатывал. Неизменные секции поставили в начало запроса, меняющиеся в конец. На пробе из 25 981 входного токена 25 920 взяли из кэша. Доля кэша в некоторых случаях выросла примерно с 8% до 44%, а кэшированные токены тарифицируются дешевле.
Итог по полному прогону: около 0,55 млн токенов, из них 0,39 млн тарифицируются, 0,17 млн из кэша (в среднем 30%). Прогон занимает 7,5 минуты без пауз. Доля пустых ответов по четырём версиям упала с 30% до 21%, затем до 12,5% и до 0%.
Чего тренажёр пока не умеет
Судья и оппонент опираются на материалы дела, сценарий и собственные знания модели. Базы судебной практики и актуального законодательства в виде RAG у них нет, а у зарубежных аналогов такой слой есть. Риск ошибок ИИ-судьи по существу никуда не делся. Сейчас идёт бета-тест со студентами, результатов пока нет.
Практический вывод: не давайте слабой в вызове функций модели свободу выбора, ограничивайте меню действий и возвращайте ошибки с конкретным примером исправления. Ставьте неизменные части промпта в начало, чтобы кэш работал, а повторы ловите на стороне кода.
- 21 нояб. 2026 г.Anthropic закрыла первую неделю на бирже с оценкой $1,6 трлн, но за день упала на 8,5%
- 21 нояб. 2026 г.15 субагентов Claude Code написали систему для цеха, а релиз принимает агент без права правки
- 21 нояб. 2026 г.Математик Anthropic заявил: Claude помог за 6 недель доказать гипотезу Римана
- 21 нояб. 2026 г.OpenAI открыла ChatGPT Spaces подписчикам Plus: совместные документы с ИИ
Вопросы и ответы по материалу
Что известно по теме: что за тренажёр и почему он на российской модели?
Идея родилась из эксперимента MIT: семь студенческих команд за месяц собирали маленький реактивный двигатель с помощью ИИ. До испытаний дошли две команды, запустился двигатель у одной. Нейросети галлюцинировали и поддакивали, а победители относились к подсказкам осторожнее и опирались на свои знания. Автор решил поставить студента в такое же положение. Студент выбирает сторону и проходит шесть этапов: подготовка, предварительное заседание, судебное заседание, доказательства и ходатайства, прения, решение.
Что известно по теме: совместимость и зацикливание?
Тесты шли на Sonnet, и автор решил, что формат вызова функций у него и у GigaChat одинаковый. Оказалось, Sonnet за один шаг вызывает несколько функций, а GigaChat только одну. Движок оказался почти несовместим с новой моделью, и его переписали. Дальше модель стала повторять одну и ту же фразу. Если ответ модели движок отклоняет, он шлёт тот же промпт с пометкой об ошибке. Иногда промпт уходит один в один, а при почти нулевой температуре модель каждый раз выбирает самое вероятное слово. Ноль GigaChat не принимает.
Что известно по теме: память, кэш и итоговая экономика?
Своей памяти у модели нет. Перед каждым вызовом движок заново собирает для роли «стол» из семи секций: позиция роли, опись дела, протоколы прошлых заседаний, до 15 заметок роли, рабочая секция, последние 10–15 реплик и журнал хода. После вызова ничего не остаётся. Кэш на стороне провайдера сэкономил заметную часть бюджета. К каждому вызову добавили заголовок X-Session-ID, хеш пары «попытка и роль». Без него кэш почти не срабатывал. Неизменные секции поставили в начало запроса, меняющиеся в конец.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.