Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
Безопасность и правоРазбор · На радарHabr AI→ оригинал

Автор ИИ-суда ChatCourt урезал расход токенов на GigaChat с 1,7 до 0,55 млн за прогон дела

ChatCourt — симулятор арбитражного суда, где судью и оппонента играют нейросети, а студент выступает истцом или ответчиком. После перехода с Claude Sonnet на GigaChat Ultra модель зациклилась, а прогон дела съедал до 1,7 млн токенов. Узкое меню из 1–3 действий плюс кэш провайдера снизили расход до 0,55 млн токенов, а вызовов стало 62 вместо 100. Слабую в вызове функций модель выгоднее держать в жёстких рамках.

AI-обработка оригинала Habr AI; редакция Hamidun News
Автор ИИ-суда ChatCourt урезал расход токенов на GigaChat с 1,7 до 0,55 млн за прогон дела
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Кэшзаголовок X-Session-ID и неизменные секции промпта в начале
Ключевой факт #245 кодов отказов с примерами исправления остановили повторы фраз
Пустые ответы модели30% в первом прогоне, 0% в последнем

ChatCourt — это учебный симулятор арбитражного суда. Студент играет истца или ответчика, а судью, оппонента и подсказчика изображают нейросети. Токены — это единицы текста, за которые платят при обращении к модели. Автор проекта собрал тренажёр на Claude Sonnet, но в проде нужна российская модель GigaChat Ultra, и при переносе всё сломалось. Одно полное прохождение дела на Sonnet съедало 1,2–1,7 млн входных токенов, а на GigaChat после доработок хватило около 0,55 млн, и вызовов модели стало 62 вместо пиковых 100. Для тех, кто строит агентов на не самой «агентской» модели, это набор готовых уроков.

Что за тренажёр и почему он на российской модели

Идея родилась из эксперимента MIT: семь студенческих команд за месяц собирали маленький реактивный двигатель с помощью ИИ. До испытаний дошли две команды, запустился двигатель у одной. Нейросети галлюцинировали и поддакивали, а победители относились к подсказкам осторожнее и опирались на свои знания. Автор решил поставить студента в такое же положение.

Студент выбирает сторону и проходит шесть этапов: подготовка, предварительное заседание, судебное заседание, доказательства и ходатайства, прения, решение. Решение выносит ИИ-судья. Правильных ответов нет: каждое дело развивается по-своему, а преподаватель оценивает ход процесса, а не итог.

Модель должна быть российской: у вузов есть ограничения на иностранные ИИ-сервисы, китайские модели под них тоже попадают. Технически это синхронный монолит на FastAPI с SQLite, для пилота на несколько студентов хватает. Принцип такой: код решает, что допустимо, а модель решает, что делать дальше. Фреймворк LangGraph автор отверг. Изоляцию ролей пришлось бы писать самому, ведь судья не должен видеть стратегию сторон. А общий checkpointer хранил бы тексты студентов вместе со всем остальным.

Совместимость и зацикливание

Тесты шли на Sonnet, и автор решил, что формат вызова функций у него и у GigaChat одинаковый. Оказалось, Sonnet за один шаг вызывает несколько функций, а GigaChat только одну. Движок оказался почти несовместим с новой моделью, и его переписали.

Дальше модель стала повторять одну и ту же фразу. Если ответ модели движок отклоняет, он шлёт тот же промпт с пометкой об ошибке. Иногда промпт уходит один в один, а при почти нулевой температуре модель каждый раз выбирает самое вероятное слово. Ноль GigaChat не принимает. Температуры подобрали вручную: судья 0,2, ИИ-сторона и подсказки 0,3, служебные проверки 0,01. Выше поднимать нельзя: модель перестаёт слушаться инструкций и галлюцинирует.

От бесконечных циклов защитил режим «пауза»: движок видит повторы и останавливает процесс. Саму причину убрали правкой промпта. В него добавили пояснение, что не так и что сделать вместо этого, и 45 кодов отказов с примером исправления для каждого. Кроме того, добавили журнал хода с уже отклонёнными предложениями. Если ответ оборвался по длине, повтор идёт с пометкой «пиши короче» и лимитом 4000 токенов.

Но и этого не хватило: в одном прогоне судья семь раз подряд задал вопрос ответчику, хотя слово было у студента. Тогда ввели «ведомый» режим. Движок сам выбирает тип шага и предлагает модели от одного до трёх действий. Отклонённое за повтор действие убирается из меню до конца хода. Если слово у студента, судья может спрашивать только его.

Память, кэш и итоговая экономика

Своей памяти у модели нет. Перед каждым вызовом движок заново собирает для роли «стол» из семи секций: позиция роли, опись дела, протоколы прошлых заседаний, до 15 заметок роли, рабочая секция, последние 10–15 реплик и журнал хода. После вызова ничего не остаётся.

Кэш на стороне провайдера сэкономил заметную часть бюджета. К каждому вызову добавили заголовок X-Session-ID, хеш пары «попытка и роль». Без него кэш почти не срабатывал. Неизменные секции поставили в начало запроса, меняющиеся в конец. На пробе из 25 981 входного токена 25 920 взяли из кэша. Доля кэша в некоторых случаях выросла примерно с 8% до 44%, а кэшированные токены тарифицируются дешевле.

Итог по полному прогону: около 0,55 млн токенов, из них 0,39 млн тарифицируются, 0,17 млн из кэша (в среднем 30%). Прогон занимает 7,5 минуты без пауз. Доля пустых ответов по четырём версиям упала с 30% до 21%, затем до 12,5% и до 0%.

Чего тренажёр пока не умеет

Судья и оппонент опираются на материалы дела, сценарий и собственные знания модели. Базы судебной практики и актуального законодательства в виде RAG у них нет, а у зарубежных аналогов такой слой есть. Риск ошибок ИИ-судьи по существу никуда не делся. Сейчас идёт бета-тест со студентами, результатов пока нет.

Практический вывод: не давайте слабой в вызове функций модели свободу выбора, ограничивайте меню действий и возвращайте ошибки с конкретным примером исправления. Ставьте неизменные части промпта в начало, чтобы кэш работал, а повторы ловите на стороне кода.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что за тренажёр и почему он на российской модели?

Идея родилась из эксперимента MIT: семь студенческих команд за месяц собирали маленький реактивный двигатель с помощью ИИ. До испытаний дошли две команды, запустился двигатель у одной. Нейросети галлюцинировали и поддакивали, а победители относились к подсказкам осторожнее и опирались на свои знания. Автор решил поставить студента в такое же положение. Студент выбирает сторону и проходит шесть этапов: подготовка, предварительное заседание, судебное заседание, доказательства и ходатайства, прения, решение.

Что известно по теме: совместимость и зацикливание?

Тесты шли на Sonnet, и автор решил, что формат вызова функций у него и у GigaChat одинаковый. Оказалось, Sonnet за один шаг вызывает несколько функций, а GigaChat только одну. Движок оказался почти несовместим с новой моделью, и его переписали. Дальше модель стала повторять одну и ту же фразу. Если ответ модели движок отклоняет, он шлёт тот же промпт с пометкой об ошибке. Иногда промпт уходит один в один, а при почти нулевой температуре модель каждый раз выбирает самое вероятное слово. Ноль GigaChat не принимает.

Что известно по теме: память, кэш и итоговая экономика?

Своей памяти у модели нет. Перед каждым вызовом движок заново собирает для роли «стол» из семи секций: позиция роли, опись дела, протоколы прошлых заседаний, до 15 заметок роли, рабочая секция, последние 10–15 реплик и журнал хода. После вызова ничего не остаётся. Кэш на стороне провайдера сэкономил заметную часть бюджета. К каждому вызову добавили заголовок X-Session-ID, хеш пары «попытка и роль». Без него кэш почти не срабатывал. Неизменные секции поставили в начало запроса, меняющиеся в конец.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…