Harvey LAB-AA v1.1: Grok 4.7 lidera com 9,4% após checagem de alucinações

A Artificial Analysis, em parceria com a empresa de IA jurídica Harvey, atualizou o benchmark Harvey LAB-AA para a versão 1.1 e mudou a regra principal de contagem: uma tarefa só é computada se todos os critérios da rubrica forem cumpridos e os documentos não tiverem alucinações substanciais. Nas 120 tarefas jurídicas fechadas, lidera o Grok 4.7 (xhigh), com 9,4%. O número fica bem abaixo do que os modelos obtinham sem o filtro de alucinações. Mais de 60% dos resultados formalmente aprovados dos modelos testados contêm invenções substanciais, e vários modelos terminam com zero após a verificação.

Como funciona a verificação

As tarefas foram elaboradas pela equipe da Harvey e cobrem fusões e aquisições (M&A), mercado de capitais, direito tributário, contencioso e falências. O modelo atua como agente e entrega documentos prontos. Em seguida, cada documento é conferido com os materiais de origem do caso em duas etapas. Primeiro, um juiz marca trechos suspeitos em três categorias: contradição com as fontes, conteúdo inventado atribuído a uma fonte e afirmação específica sem respaldo nos materiais. Depois, o mesmo juiz reexamina cada marcação em todos os documentos da tarefa, descarta as infundadas e divide as restantes em substanciais e menores.

Um exemplo de erro substancial, retirado da metodologia: numa tarefa tributária, o modelo registrou uma dívida como «empréstimo de $220 milhões mais títulos de $214 milhões». Na verdade, eram os saldos inicial e final de um único empréstimo após a amortização de $6 milhões. Uma imprecisão aritmética num cálculo proporcional foi classificada como menor e não afeta a nota. Legislação e jurisprudência de conhecimento geral que estejam fora dos arquivos do caso não contam como alucinação, então os modelos não são penalizados por citar leis e precedentes.

Os critérios da rubrica agora são avaliados por um painel de três LLMs-juízes: GPT-6 Sol, Grok 4.7 e Claude Opus 5.5. Os veredictos são combinados por média. Na versão 1.0, havia um único juiz. Os autores testaram o painel quanto a viés em favor das próprias famílias de modelos e o consideraram mínimo. A auditoria de alucinações em si é feita pelo GPT-6 Sol (high).

Quem caiu e onde

Líderes na métrica Hallucination-Gated All-Pass Rate:

• Grok 4.7 (xhigh): 9,4%
• Muse Spark 1.3 (max): 8,9%
• GPT-6 Astra (max): 8,6%
• GPT-6.1 Sol (max): 6,9%
• Claude Fable 5.1 (max, com fallback): 6,4%
• Kimi K3 (max): 5,3%
• Claude Opus 5.5 (max, com fallback): 4,2%

Os modelos Claude foram executados com o fallback da Anthropic ativado, mas nunca o utilizaram.

O filtro mudou mais o quadro do Muse Spark 1.3. Sem ele, o modelo liderava com folga, com 26,7% de aprovações completas, mas dois terços delas contêm uma alucinação substancial. Ele também registra o recorde de 96,0% de critérios cumpridos, mas produz, em média, 1,68 alucinação substancial por tarefa. O GPT-6 Astra manteve quase todos os acertos (8,9% antes do filtro, 8,6% depois) e subiu do 10º lugar compartilhado para o 3º. Ele tem, em média, 0,03 alucinação substancial por tarefa, ou seja, 4 casos nas 120 tarefas. O GPT-6 Sol tem 0,07 (8 casos). O pior resultado é do Gemini 3.8 Flash: 13,96 por tarefa. Todo modelo open-weights comete pelo menos 2,09 alucinações substanciais por tarefa.

A maioria dos modelos cumpre bem os critérios da rubrica: 16 modelos atendem de 85,6% a 96,0% deles. Completar o checklist e não inventar informação são habilidades distintas. Segundo os autores, a propensão a alucinar depende muito mais do modelo do que da área do direito.

Ressalvas e conclusão prática

Os resultados da v1.1 não podem ser comparados com os números da v1.0 publicados antes. Mudaram a métrica, o painel de juízes e o conjunto de dados (agora Harvey v1.1.0). Além disso, trata-se de uma implementação independente, não do teste original da Harvey. Os modelos rodam no harness agêntico Stirrup, com compactação de contexto, sem as ferramentas personalizadas da Harvey e sem scripts de geração de pptx e docx, apenas com execução simples de código. O nome do arquivo de resultado precisa coincidir exatamente, sem correspondência aproximada.

O rigor na escolha do juiz merece atenção à parte. Em um teste com 20 tarefas e 8 modelos, o GPT-6 Sol confirmou 470 alucinações substanciais, o Grok 4.7, 219, o Opus 5.5, 99, e o Sonnet 5.5, 57. Os seis candidatos a juiz não encontraram erros substanciais no GPT-6 Astra, e no GPT-6 Sol contaram de 0 a 0,20 por tarefa. O ranking dos modelos é estável, mas os números absolutos dependem do rigor do juiz. Vale ter em mente, ao ler a tabela, que um auditor da família GPT-6 também avalia modelos GPT-6.

Para equipes jurídicas, a conclusão é simples. O percentual de critérios cumpridos diz pouco sobre a confiabilidade do agente. Um resultado de «16 de 20 itens concluídos» não é preocupante se o documento não tiver data ou valor inventado. Ao escolher um modelo para trabalho contratual e tributário, vale olhar o número de alucinações substanciais por tarefa e manter a conferência com os documentos de origem como etapa obrigatória. Os autores prometem incluir, nas próximas versões, o que os advogados valorizam além da precisão, como o estilo e o tom dos documentos.