Legora elevou de 70% para 99% a taxa de citacoes corretas de seu agente juridico

A IA juridica enfrenta uma contradicao desconfortavel. Para melhorar um agente, e util que os desenvolvedores leiam seus rastros: quais documentos ele abriu, o que encontrou, onde errou e por que escolheu a resposta incorreta. Na pratica juridica, porem, esses dados muitas vezes pertencem nao ao proprio escritorio, mas a seus clientes. A equipe de produto nao pode simplesmente abrir mais um contrato e analisar manualmente a falha.

A Legora resolve esse problema com simulacoes reproduziveis. Tres engenheiros e tres advogados criam ambientes de trabalho sinteticos semelhantes a casos reais de clientes. Um exemplo e um repositorio com 10.000 arquivos no qual o agente precisa realizar uma due diligence, preparar um relatorio e nao deixar passar riscos materiais. Esse modelo e util muito alem do legal tech: quando os dados de producao sao restritos, e preciso reproduzir nao os documentos em si, mas a estrutura do trabalho, os criterios de sucesso e os erros caracteristicos.

Testes sem acesso aos documentos

Imagine um servico que analisa milhares de contratos de trabalho. Cada linha corresponde a um documento, enquanto as colunas contem perguntas: prazo de rescisao, cessao de direitos de propriedade intelectual e valor da indenizacao. Executar o processamento imediatamente em todo o conjunto e caro e arriscado: um prompt mal formulado multiplicara o mesmo erro por milhares de celulas.

Por isso, o Tabular Review processa primeiro apenas 10 linhas. Um advogado verifica o resultado, refina o prompt e somente depois executa os documentos restantes. Isso parece quase simples demais, mas e justamente esse tipo de interface que transforma um experimento com um modelo em um processo de producao controlado. O usuario ve uma pequena amostra antes de gastar o orcamento e receber um milhao de respostas potencialmente incorretas.

A Legora avalia a qualidade separadamente por area juridica e tipo de tarefa. Os resultados sao exibidos como um mapa de calor: um novo modelo pode ser melhor para encontrar decisoes judiciais, mas pior para editar contratos. Uma unica pontuacao nao e suficiente. Para qualquer equipe que desenvolva um agente especializado, a conclusao e direta: compare os modelos em fluxos de trabalho especificos, e nao por sua reputacao geral ou por um unico teste agregado.

Os erros precisam virar um catalogo

Em producao, a Legora agrupa as falhas em 10 a 20 tipos conhecidos e executa verificacoes baratas com LLMs por tras de feature flags. Isso nao garante uma precisao perfeita, mas torna a qualidade observavel. Em vez da mensagem vaga de que “o agente as vezes erra”, a equipe recebe uma categoria especifica: uma ressalva foi omitida, uma conclusao nao e sustentada por uma fonte, uma citacao aponta para o trecho errado ou a resposta nao corresponde ao formato exigido.

O mecanismo de citacao e especialmente revelador. Cada conclusao do agente e vinculada a uma area especifica do PDF original, permitindo que o advogado abra o trecho que a sustenta. Segundo o diretor de tecnologia da Legora, depois de uma atualizacao do modelo, a proporcao de citacoes corretas subiu de aproximadamente 70% para 99%. No entanto, esse episodio tambem revela uma limitacao: parte da qualidade depende do fornecedor externo do modelo e pode mudar na versao seguinte. Por isso, toda nova versao precisa ser testada, mesmo que seja considerada mais poderosa.

O que levar para o seu proprio produto

Nao comece escolhendo o modelo “mais inteligente”. Primeiro, monte uma lista de tarefas reais, crie para elas um conjunto privado de avaliacoes e defina os erros aceitaveis. Se os documentos nao puderem ser usados, desenvolva equivalentes sinteticos em conjunto com especialistas do setor. Teste nao apenas a resposta final, mas tambem as referencias as fontes, a completude do processamento e a estabilidade em grandes conjuntos de dados.

Para operacoes em massa, adicione uma execucao preliminar em uma pequena amostra. Para cada atualizacao, divida os resultados por tarefa: onde a qualidade aumentou, onde caiu, quanto custam os pontos percentuais adicionais de precisao e como a latencia mudou. Transforme as falhas conhecidas em verificacoes automaticas separadas.

A principal ideia da Legora nao esta em sua especializacao juridica. Ela esta no fato de que a confidencialidade nao elimina a mensurabilidade. Se nao for possivel ler os rastros dos usuarios, a equipe precisara modelar com mais precisao o trabalho do cliente. Isso custa mais do que simplesmente consultar os logs, mas cria um ativo que permanece dentro da empresa: um sistema proprio de avaliacao, um catalogo de erros e um limite de qualidade claro antes de colocar o agente em producao.