Legora executa 2000 execuções paralelas de um agente jurídico em sandboxes da Modal

Testar um assistente de chat é simples: você faz uma pergunta, recebe uma resposta e compara com o gabarito. Com um agente que passa várias horas vasculhando milhares de documentos, editando arquivos e acessando bancos de dados, isso não funciona. A plataforma jurídica Legora enfrentou esse problema no início de 2026. Ela substituiu o assistente por um agente completo e reconstruiu do zero o sistema de avaliação.

Por que o notebook não basta mais

Os antigos evals foram pensados para tarefas pequenas: alguns documentos no ambiente, tudo rodando localmente. O novo agente trabalha dentro de um projeto realista, com milhares de documentos e gigabytes de dados. Um experimento típico agora é assim: 100 casos, 4 variantes de harness (a estrutura que envolve o modelo no agente) e 5 execuções para cada uma. No total, 2000 execuções, todas elas simultâneas. O engenheiro da Legora Eirik Dräge Steen é direto: 10 a 20 execuções paralelas já sobrecarregariam um notebook.

O segundo problema é mais sutil: a fidelidade do ambiente. O agente da Legora cobre todo o produto: um editor de DOCX headless, instâncias próprias do Turbopuffer, conversão de PDF, Postgres e um banco de autorização, armazenamento de blobs e sandboxes dinâmicas para execução de código. Para medir o impacto de uma migração de banco ou de uma alteração na sandbox de código, cada execução precisa exatamente dessa versão de todo o aplicativo. Mocks não funcionam aqui.

Como funciona: uma sandbox, uma execução

Cada execução recebe uma Modal Sandbox separada, com imagem e sistema de arquivos personalizados. Dentro dela sobe todo o aplicativo, fixado em um commit específico. Os engenheiros disparam os experimentos do notebook, mas todo o processamento acontece na nuvem. A Legora comparou vários provedores de sandboxes em nuvem e escolheu a Modal pela escalabilidade, pela baixa latência de inicialização e pelo suporte a ambientes complexos: tanto o aplicativo quanto a imagem são muito grandes.

Algumas técnicas que vale guardar:

• Estado do mundo em Volumes. Grandes coleções de documentos ficam disponíveis em todas as sandboxes. O snapshot inclui documentos, banco, permissões e blobs, de modo que as execuções repetidas partem dos mesmos dados, e a parte comum é deduplicada.
• Aquecimento a cada hora. A construção da imagem gigante inicialmente atrasava as execuções. Agora, uma vez por hora, o pipeline constrói a imagem e aquece as sandboxes, e o reset para um commit se resume ao delta desde a última construção, e não a uma build completa do aplicativo.
• Segredos. Uma tarefa separada sincroniza, uma vez por hora, os valores do cofre de chaves para os Modal Secrets. Também são usados rotação frequente, privilégios mínimos, requisitos de idade das dependências e uma lista de domínios permitidos.

Um capítulo à parte é a migração do gVisor para as VM Sandboxes. O aplicativo da Legora é composto por serviços Docker, e no gVisor era preciso improvisar gambiarras: rede em modo host com resolução de DNS própria e execução das sandboxes de código como processos nus, porque o FUSE não montava. Em uma máquina virtual com um kernel Linux de verdade, o Docker se comporta como em um host comum, e a equipe removeu todas essas muletas.

O que isso trouxe e onde está a pegadinha

A plataforma se tornou a principal ferramenta de avaliação da qualidade do agente. Nela rodam o benchmark interno BAR, um conjunto de tarefas jurídicas longas e realistas, e comparam-se os modelos de base em qualidade, custo e latência. Dos resultados dependem a escolha do modelo em produção e o desenho do harness.

O mais interessante é outra coisa: os evals foram embrulhados em uma CLI e uma skill, e agora os próprios agentes criam casos, executam experimentos e analisam resultados. A maioria dos engenheiros trabalha com evals por meio de agentes. Se você der a um agente uma métrica, ferramentas de experimentação e um orçamento, ele ficará ajustando o harness até a métrica melhorar. Assim a Legora otimizou a busca de ferramentas, a geração de PowerPoint e a reprodução de artigos científicos. Um dos resultados foi uma redução de 30% no custo do agente, graças a uma compactação de contexto (compaction) mais inteligente e a uma implementação própria de busca de ferramentas.

A pegadinha é que este é um blog da Modal, ou seja, um case de fornecedor. Não há números sobre a latência de inicialização, o preço de 2000 execuções ou a proporção de execuções instáveis. Sobre os «30%», não se diz em qual benchmark nem se houve perda de qualidade. A abordagem em si não está presa a uma única plataforma: dá para reproduzi-la em outra, desde que ela aguente imagens pesadas e ofereça Docker de verdade.

O que levar daqui:

• Se o agente mexe em bancos de dados, arquivos e serviços externos, teste-o em uma cópia completa do produto, não em mocks.
• Fixe não só o código, mas também os dados: um snapshot de documentos, permissões e estado do banco torna as execuções comparáveis.
• Aqueça as imagens em um cronograma, para que o reset para um commit não exija uma build completa.
• Rode várias execuções por caso: o agente é não determinístico, e a Legora usa 5.
• Embrulhe os evals em uma CLI para que os agentes possam executar experimentos por conta própria e melhorar o harness dentro de um orçamento.