Claude contra YandexGPT: uma IA é boa, duas são 2,5 vezes mais seguras

Imagine confiar a revisão de um contrato de milhões a um estagiário que se esforça muito, mas às vezes cochila no meio da página. Mais ou menos assim era, até ontem, trabalhar com documentos jurídicos usando uma única rede neural. A ideia de usar LLMs para encontrar "armadilhas" em contratos não é nova, mas até pouco tempo atrás esbarrava numa realidade dura: alucinações e a simples desatenção dos modelos aos detalhes. Quando o que está em jogo são multas ou condições de fornecimento abusivas, a frase "desculpe, sou só uma IA" não salva o orçamento da empresa.

O cenário mudou quando entusiastas começaram a se afastar do conceito de "um botão, uma resposta". Um experimento recente na criação de um analisador de contratos mostrou que apostar no YandexGPT, modelo nacional russo, se justificava pela acessibilidade, mas não bastava para uma auditoria de qualidade. O modelo russo encontrava riscos básicos, mas deixava passar nuances jurídicas sutis que podem custar milhões. A solução veio na forma de uma arquitetura híbrida, que incluiu o Claude, da Anthropic. Isso transformou o sistema de um brinquedo curioso em uma ferramenta que realmente pode competir com um advogado júnior.

O cerne da nova arquitetura é a validação em duas camadas. A primeira é um par de LLMs diferentes. Descobriu-se que o Claude enxerga o mundo de forma diferente do YandexGPT.

No mesmo contrato de fornecimento, o Claude encontrou 27 riscos potenciais, enquanto o modelo russo se limitou a onze. A diferença se explica não só pelo volume de dados de treinamento, mas também pela capacidade do modelo de manter um contexto longo e construir cadeias lógicas entre cláusulas dispersas do documento. Ainda assim, até duas redes neurais continuam sujeitas a alucinações.

Para minimizar erros, o desenvolvedor adicionou uma segunda camada: 25 detectores de texto rígidos, escritos em código. Esses algoritmos checam a "matemática" por trás da rede neural: prazos, valores, sequência de datas. Se a IA diz que os prazos do contrato estão em ordem, mas um detector vê contradição entre as cláusulas 5.

1 e 8.4, o sistema dispara o alarme.

Essa abordagem resolve o principal problema da adoção corporativa de IA: a desconfiança. Quando o sistema não só emite um veredito, mas o confirma com verificação cruzada de dois modelos independentes e de código, a confiança das empresas aumenta. A conta é simples: a revisão manual de um contrato complexo leva de duas a quatro horas para uma pessoa.

O sistema faz isso em poucos minutos. Além disso, o custo de uma requisição às APIs do Claude e do YandexGPT somadas é de centavos perto do valor-hora de um advogado profissional. O maior ganho nem é a velocidade, mas a eliminação do fator humano.

O olho cansado de um advogado às sete da noite pode não notar a falta de uma vírgula que muda o lado responsável; o algoritmo não se cansa.

É interessante que esse caso evidencia uma tendência importante do setor: a era dos "chatbots universais" nos negócios está acabando. Chega a vez dos pipelines altamente especializados, em que cada modelo cumpre seu papel. O YandexGPT pode se sair muito bem na filtragem inicial ou no resumo em russo, enquanto o Claude assume o trabalho lógico pesado. Usar APIs estrangeiras no perímetro russo ainda é um desafio jurídico e técnico para muitas empresas, mas os resultados mostram que vale a pena. Uma diferença de quase três vezes na qualidade da análise é grande demais para ser ignorada.

No futuro, sistemas assim se tornarão o padrão de fato em qualquer departamento jurídico. Caminhamos para um cenário em que um contrato não será assinado até passar pela "peneira" de três ou quatro modelos diferentes e dezenas de verificações automáticas. Isso não quer dizer que os advogados ficarão sem trabalho. Quer dizer que não terão mais de gastar a vida procurando erros de digitação em cláusulas de força maior e poderão se dedicar a tarefas estratégicas realmente complexas. Por enquanto, vemos um "zoológico" de modelos vencer as soluções monolíticas.

O principal: a eficácia das ferramentas de IA nos negócios hoje depende diretamente da capacidade de combinar modelos diferentes e blindá-los com código clássico. O YandexGPT-4 conseguirá alcançar os concorrentes em lógica jurídica, ou a combinação de vários modelos continuará sendo a única opção viável?