Autor leva roteiro a julgamento por jurados de IA, e o veredito custa 850 mil tokens

Modelos de linguagem puxam o saco. Pergunte se a sua ideia é boa e quase sempre ouvirá «ótima». O autor do canal «Технокафе» no Telegram testou uma ideia de outro jeito em 29 de outubro.

Ele instalou o skill gratuito Claude Court para o Claude Code (agente de programação da Anthropic) e montou um julgamento do roteiro do próprio vídeo. Um skill é um conjunto pronto de instruções que amplia as capacidades do agente. O resultado: o roteiro foi absolvido por dois votos a um, e a verificação consumiu 8 agentes e 849 660 tokens.

Aqui, o token é a unidade com que o modelo mede o volume de texto. Dele dependem tanto o preço quanto o gasto do limite da assinatura.

Como funciona um tribunal de redes neurais

O skill encena um processo judicial. Cada papel fica a cargo de um agente separado, ou seja, de uma sessão independente de um modelo de linguagem.

• O acusador procura o que há de ruim na ideia. • O defensor argumenta que ela é viável. • Os jurados recebem papéis (por exemplo, o de estatístico) e votam cada um por conta própria. Eles não veem uns aos outros, então não ajustam o voto à opinião alheia. • O juiz escreve o arquivo final VERDICT.md.

O principal no arquivo não é o elogio. O juiz lista os pontos fracos e formula a condição em que a ideia pode ser lançada. O código do skill está no GitHub: alexyc9381/court-skill.

A pergunta comum, «e aí, o que achou?», traz um único ponto de vista, e ele tende a concordar. Aqui há partes cuja tarefa é discordar. Há também votação independente: os jurados não leem uns aos outros e, portanto, não copiam os erros do vizinho.

O que o tribunal encontrou e o que o juiz exigiu

O roteiro foi absolvido por 2 a 1. O estatístico votou contra. Sua objeção: o plano não tinha nenhum número próprio. O juiz aceitou o argumento e impôs uma condição: primeiro medir o consumo, depois gravar o vídeo.

O autor mediu e chegou a estes números:

• Julgamento com três jurados: 8 agentes, 849 660 tokens. • Julgamento completo com doze jurados: 17 agentes, cerca de 1,8 milhão de tokens. É um cálculo, não uma execução real. • A formação reduzida custa metade da completa, e não um quarto. Acusação, defesa e juiz atuam com qualquer número de jurados, e essa parcela do consumo permanece constante.

Esses números revelam mais uma coisa, mas aqui é uma estimativa nossa. 849 660 tokens para 8 agentes e 1,8 milhão para 17 dão, nos dois casos, na ordem de 100 mil tokens por agente. Cada jurado adicional acrescenta aproximadamente isso. Para um julgamento barato, o que vale cortar são os jurados. O juiz e as duas partes em disputa é melhor manter.

Quando o tribunal compensa

O autor limita com honestidade o campo de uso. Para um ajuste pequeno, esse julgamento é desnecessário. Para uma ideia que vai consumir uma semana de trabalho, 850 mil tokens saem mais baratos do que uma semana jogada fora. A lógica é simples: verificar a ideia custa tokens, e um erro de planejamento custa dias. Ela também explica por que o estatístico foi mais útil que os demais. Ele exigiu trocar palavras genéricas por um número mensurável.

Quanto custou o vídeo em si

O autor também informa o custo do restante da cadeia:

• Roteiro, edição e estilo ficaram a cargo do Claude Code com o modelo Opus 5.5. Somados ao teste de estilo, isso dá cerca de US$ 13 em equivalente de API (pelas tarifas de pagamento por token) e 1,3% do limite semanal da assinatura. • A voz é do próprio autor, um clone no ElevenLabs. 960 caracteres custaram US$ 0,11. • As dezesseis figurinhas foram desenhadas pelo GPT Image via Codex, com a assinatura do ChatGPT. • A animação foi feita com HyperFrames e GSAP.

O julgamento não está incluído nos US$ 13; o autor mediu o gasto dele em tokens. Mas a ordem de grandeza é clara. O vídeo inteiro, com locução, gráficos e verificação jurídica da ideia, foi montado com assinaturas e chamadas de API que custam centavos.

Conclusão prática

Para engenheiros e equipes de produto, a história deixa algumas lições.

• Uma pergunta a um só modelo rende um elogio. Um debate estruturado com votação independente rende uma lista de pontos fracos. • Antes de rodar uma verificação com vários agentes, vale medir o consumo. Foi o que o autor fez, por exigência do juiz. • Se o orçamento é limitado, reduza o número de jurados, em vez de eliminar o juiz e as partes. • Faz sentido aplicar esse tipo de julgamento a decisões em que o erro sai caro, como planos de uma semana de trabalho. Para ajustes pequenos, é exagero.

A limitação do método é óbvia. Todos os participantes do julgamento continuam sendo modelos de linguagem e podem compartilhar os mesmos pontos cegos. Mesmo com votação independente, o resultado segue sendo uma opinião de modelos, e não um teste contra a realidade. Ainda assim, um veredito com condições concretas é mais útil do que um «ótima ideia!», e custa menos de um milhão de tokens.