Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Autor do tribunal de IA ChatCourt reduziu o consumo de tokens do GigaChat de 1,7 para 0,55 milhão por simulação de caso

ChatCourt é um simulador de tribunal de arbitragem em que o juiz e o oponente são interpretados por redes neurais, enquanto o estudante atua como autor ou réu. Depois da troca do Claude Sonnet pelo GigaChat Ultra, o modelo entrou em loop, e uma simulação completa chegava a consumir até 1,7 milhão de tokens. Um menu restrito de 1 a 3 ações somado ao cache do provedor baixou o consumo para 0,55 milhão de tokens, e o número de chamadas caiu de 100 para 62. Para um modelo fraco em chamada de funções, a recomendação é manter as regras bem rígidas.

Processado por IA de Habr AI; editado por Hamidun News
Autor do tribunal de IA ChatCourt reduziu o consumo de tokens do GigaChat de 1,7 para 0,55 milhão por simulação de caso
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Cachecabeçalho X-Session-ID e seções fixas do prompt no início da requisição
Dado-chave #245 códigos de recusa com exemplos de correção interromperam as repetições de frases
Respostas vazias do modelo30% na primeira execução e 0% na última

ChatCourt é um simulador didático de tribunal de arbitragem. O estudante interpreta o autor ou o réu, e o juiz, o oponente e o assistente são representados por redes neurais. Tokens são as unidades de texto pelas quais se paga em cada chamada ao modelo.

O autor do projeto montou o simulador com o Claude Sonnet, mas, para uso em produção, precisava de um modelo russo, o GigaChat Ultra, e a migração quebrou tudo. Uma simulação completa de um caso no Sonnet consumia de 1,2 a 1,7 milhão de tokens de entrada; no GigaChat, depois dos ajustes, cerca de 0,55 milhão foi suficiente, e o número de chamadas ao modelo caiu para 62, contra um pico de 100. Para quem constrói agentes sobre um modelo pouco voltado a essa tarefa, o caso reúne lições práticas.

O que é o simulador e por que ele usa um modelo russo

A ideia surgiu de um experimento do MIT: sete equipes de estudantes passaram um mês montando um pequeno motor a jato com ajuda de IA. Só duas chegaram aos testes, e apenas uma conseguiu ligar o motor. As redes neurais alucinavam e concordavam com tudo, enquanto as equipes vencedoras tratavam as sugestões com cautela e se apoiavam no próprio conhecimento. O autor quis colocar o estudante na mesma posição.

O estudante escolhe um lado e percorre seis etapas: preparação, audiência preliminar, audiência de julgamento, provas e petições, debates e sentença. A decisão final é dada pelo juiz de IA. Não existem respostas certas: cada caso se desenvolve de um jeito, e o professor avalia o andamento do processo, não o resultado.

O modelo precisa ser russo: as universidades têm restrições ao uso de serviços estrangeiros de IA, e os modelos chineses também entram nessa categoria. Tecnicamente, trata-se de um monólito síncrono em FastAPI com SQLite, o que basta para um piloto com poucos alunos. O princípio é que o código decide o que é permitido, e o modelo decide o que fazer em seguida. O autor descartou o framework LangGraph. O isolamento dos papéis teria de ser implementado do zero, já que o juiz não pode ver a estratégia das partes. E um checkpointer compartilhado guardaria os textos dos estudantes junto com todo o resto.

Compatibilidade e loops

Os testes rodaram com o Sonnet, e o autor presumiu que o formato de chamada de funções era o mesmo no GigaChat. Não era: o Sonnet chama várias funções em um único passo, enquanto o GigaChat chama apenas uma. O motor ficou quase incompatível com o novo modelo e precisou ser reescrito.

Em seguida, o modelo passou a repetir sempre a mesma frase. Quando o motor rejeita a resposta do modelo, ele reenvia o mesmo prompt com uma marcação de erro. Às vezes o prompt sai idêntico, e com temperatura quase zero o modelo escolhe a palavra mais provável a cada vez. O GigaChat não aceita temperatura zero. As temperaturas foram ajustadas à mão: 0,2 para o juiz, 0,3 para a IA das partes e as sugestões, 0,01 para as verificações auxiliares. Subir acima disso faz o modelo deixar de seguir as instruções e começar a alucinar.

O modo de pausa protegeu contra os ciclos infinitos: o motor identifica as repetições e interrompe o processo. A causa em si foi corrigida editando o prompt. Foram acrescentadas uma explicação do que está errado e do que fazer em vez disso, além de 45 códigos de recusa, cada um com um exemplo de correção. Também foi incluído um registro do andamento com as frases já rejeitadas. Se a resposta for cortada por causa do tamanho, a nova tentativa vem com a instrução "escreva de forma mais curta" e limite de 4000 tokens.

Mesmo assim, não bastou: em uma das execuções, o juiz fez sete perguntas seguidas ao réu, embora a palavra estivesse com o estudante. Foi então criado o modo "guiado". O motor escolhe o tipo do passo e oferece ao modelo de uma a três ações possíveis. Uma ação recusada por repetição sai do menu até o fim do turno. Se a palavra estiver com o estudante, o juiz só pode perguntar a ele.

Memória, cache e economia final

O modelo não tem memória própria. Antes de cada chamada, o motor reconstrói para cada papel uma "mesa" com sete seções: posição do papel, inventário do caso, atas das audiências anteriores, até 15 anotações do papel, uma seção de trabalho, as últimas 10 a 15 falas e o registro do andamento. Depois da chamada, nada é mantido.

O cache do lado do provedor economizou uma parcela significativa do orçamento. Foi adicionado a cada chamada o cabeçalho X-Session-ID, um hash do par "tentativa e papel". Sem ele, o cache quase não funcionava. As seções fixas foram colocadas no início da requisição, e as que mudam, no fim. Em um teste com 25 981 tokens de entrada, 25 920 vieram do cache. A proporção de cache subiu em alguns casos de cerca de 8% para 44%, e os tokens em cache são cobrados a um preço menor.

No total de uma simulação completa: cerca de 0,55 milhão de tokens, dos quais 0,39 milhão são cobrados integralmente e 0,17 milhão vêm do cache (em média 30%). A simulação leva 7,5 minutos sem pausas. A proporção de respostas vazias caiu de 30% para 21% nas primeiras versões, depois para 12,5% e, por fim, para 0%.

O que o simulador ainda não faz

O juiz e o oponente se apoiam nos materiais do caso, no roteiro e no conhecimento do próprio modelo. Não há uma camada RAG com base de jurisprudência e legislação atualizada, ao contrário do que existe em análogos estrangeiros. O risco de erros de mérito cometidos pelo juiz de IA continua existindo. Atualmente há um teste beta com estudantes, e ainda não há resultados.

A conclusão prática: não dê liberdade de escolha a um modelo fraco em chamada de funções; limite o menu de ações e devolva os erros com um exemplo concreto de correção. Coloque as partes fixas do prompt no início para que o cache funcione, e detecte as repetições do lado do código.

História

Perguntas frequentes sobre a notícia

O que é o simulador e por que ele usa um modelo russo?

A ideia surgiu de um experimento do MIT: sete equipes de estudantes passaram um mês montando um pequeno motor a jato com ajuda de IA. Só duas chegaram aos testes, e apenas uma conseguiu ligar o motor. As redes neurais alucinavam e concordavam com tudo, enquanto as equipes vencedoras tratavam as sugestões com cautela e se apoiavam no próprio conhecimento. O autor quis colocar o estudante na mesma posição.

O que se sabe sobre Compatibilidade e loops?

Os testes rodaram com o Sonnet, e o autor presumiu que o formato de chamada de funções era o mesmo no GigaChat. Não era: o Sonnet chama várias funções em um único passo, enquanto o GigaChat chama apenas uma. O motor ficou quase incompatível com o novo modelo e precisou ser reescrito. Em seguida, o modelo passou a repetir sempre a mesma frase. Quando o motor rejeita a resposta do modelo, ele reenvia o mesmo prompt com uma marcação de erro.

O que se sabe sobre Memória, cache e economia final?

O modelo não tem memória própria. Antes de cada chamada, o motor reconstrói para cada papel uma "mesa" com sete seções: posição do papel, inventário do caso, atas das audiências anteriores, até 15 anotações do papel, uma seção de trabalho, as últimas 10 a 15 falas e o registro do andamento. Depois da chamada, nada é mantido. O cache do lado do provedor economizou uma parcela significativa do orçamento. Foi adicionado a cada chamada o cabeçalho X-Session-ID, um hash do par "tentativa e papel".

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…