Autor levou seu roteiro a um júri de IA: o veredito custou 850 mil tokens

Modelos de linguagem puxam o saco. Pergunte se a sua ideia é boa e quase sempre você ouvirá «ótima». O autor do canal de Telegram «Technokafe» testou a ideia de outro jeito em 29 de outubro.

Ele instalou o skill gratuito Claude Court para o Claude Code (o agente de programação da Anthropic) e montou um julgamento do roteiro do próprio vídeo. Skill é um conjunto pronto de instruções que amplia as capacidades do agente. Resultado: o roteiro foi absolvido por dois votos a um, e a verificação consumiu 8 agentes e 849.

660 tokens. Aqui, token é a unidade com que o modelo mede o volume de texto. Do número de tokens dependem tanto o preço quanto o consumo do limite da assinatura.

Como funciona um julgamento entre redes neurais

O skill encena um processo judicial. Cada papel é executado por um agente separado, ou seja, uma sessão independente de um modelo de linguagem.

• O promotor procura o que há de ruim na ideia.
• O defensor argumenta que ela é viável.
• Os jurados recebem papéis (por exemplo, estatístico) e cada um vota por conta própria. Eles não veem uns aos outros, então não se ajustam à opinião alheia.
• O juiz escreve o arquivo final VERDICT.md.

O principal no arquivo não é o elogio. O juiz lista os pontos fracos e formula a condição para a ideia poder ser lançada. O código do skill está no GitHub: alexyc9381/court-skill.

A pergunta comum «e aí, o que achou?» tem um único ponto de vista, e ele tende a concordar. Aqui há partes cuja função é discordar. Há também votação independente: os jurados não leem uns aos outros e, portanto, não copiam os erros do vizinho.

O que o julgamento encontrou e o que o juiz exigiu

O roteiro foi absolvido por 2 a 1. O estatístico votou contra. Sua objeção: o plano não tinha nenhum número próprio. O juiz aceitou o argumento e impôs uma condição: primeiro medir o consumo, depois gravar o vídeo.

O autor mediu e obteve estes números:

• Julgamento com três jurados: 8 agentes, 849.660 tokens.
• Julgamento completo com doze jurados: 17 agentes, cerca de 1,8 milhão de tokens. É um cálculo, não uma execução real.
• A composição reduzida custa metade da completa, e não um quarto. Acusação, defesa e juiz atuam com qualquer número de jurados, e essa parte do gasto é constante.

Esses números mostram mais uma coisa, mas é uma estimativa nossa. 849.660 tokens para 8 agentes e 1,8 milhão para 17 resultam, nos dois casos, em algo como 100 mil tokens por agente. Cada jurado adicional soma aproximadamente o mesmo. Se a ideia é um julgamento barato, o melhor é cortar jurados. O juiz e as duas partes que debatem convém manter.

Quando o julgamento compensa

O autor delimita com honestidade o campo de uso. Para um ajuste pequeno, esse julgamento não é necessário. Para uma ideia que vai consumir uma semana de trabalho, 850 mil tokens saem mais baratos que uma semana perdida. A lógica é simples: validar uma ideia custa tokens, e um erro de planejamento custa dias. Isso também explica por que o estatístico foi mais útil que os demais: ele exigiu trocar palavras genéricas por um número mensurável.

Quanto custou o vídeo em si

O autor também informa o custo do restante da cadeia:

• O roteiro, a edição e o estilo foram feitos pelo Claude Code com o modelo Opus 5.5. Junto com o teste de estilo, dá cerca de US$ 13 em equivalente de API (pelas tarifas de pagamento por token) e 1,3% do limite semanal da assinatura.
• A voz é do próprio autor, um clone no ElevenLabs. 960 caracteres custaram US$ 0,11.
• As dezesseis figuras foram desenhadas pelo GPT Image via Codex, com a assinatura do ChatGPT.
• A animação foi feita com HyperFrames e GSAP.

O julgamento não está incluído separadamente nesses US$ 13; o autor mediu o consumo dele em tokens. Mesmo assim, a ordem de grandeza é clara. O vídeo inteiro, com locução, gráficos e verificação jurídica da ideia, foi montado com assinaturas e chamadas de API de poucos centavos.

Conclusão prática

Para engenheiros e equipes de produto, essa história deixa algumas lições.

• Uma pergunta a um único modelo rende um elogio. Um debate estruturado com votação independente rende uma lista de pontos fracos.
• Antes de rodar uma verificação multiagente, vale medir o consumo. O autor fez isso por exigência do juiz.
• Se o orçamento é limitado, reduza o número de jurados, em vez de eliminar o juiz e as partes.
• Faz sentido aplicar um julgamento assim a decisões em que o erro sai caro, como planos de uma semana de trabalho. Para ajustes pequenos, é exagero.

A limitação do método é óbvia. Todos os participantes do julgamento continuam sendo modelos de linguagem e podem compartilhar os mesmos pontos cegos. Mesmo com votação independente, o resultado segue sendo uma opinião de modelos, e não uma checagem com a realidade. Ainda assim, um veredito com condições concretas é mais útil que um «ótima ideia!», e custa menos de um milhão de tokens.