MULTIFINGROUND: LLMs reconhecem conceitos contábeis em 99% dos casos, mas perdem fatos

Os modelos de linguagem entendem quase sem erro de qual item da demonstração financeira se trata, mas tropeçam quando precisam reunir todos os números ligados a ele. Os autores do benchmark MULTIFINGROUND submeteram 15 modelos às divulgações anuais de 90 emissores referentes ao FY2025, em inglês, francês e grego. Oito modelos de referência, entre API e open-weight, reconhecem o conceito contábil com precisão de 97,3–99,4%. Ao mesmo tempo, em 26,6–41,9% dos grupos reconhecidos corretamente, eles deixam escapar pelo menos um fato-alvo.

Como funciona o benchmark

Comparar demonstrações financeiras entre países depende de duas habilidades. Primeiro, é preciso entender que formulações diferentes, em idiomas diferentes, descrevem o mesmo conceito contábil. Depois, é preciso encontrar todos os números que expressam esse conceito: nas demonstrações principais, nas notas explicativas e no texto descritivo. Os testes existentes avaliam essas habilidades separadamente, e por eles é difícil saber se o modelo consegue fazer as duas coisas sobre o mesmo material.

O MULTIFINGROUND preenche essa lacuna. Os relatórios foram elaborados de forma independente e não são traduções uns dos outros, de modo que o modelo não tem como se apoiar em um texto paralelo. Os autores alinharam os documentos por meio de uma taxonomia contábil comum e criaram anotações no nível de fatos individuais, rastreáveis até a fonte. O benchmark avalia quatro tarefas:

• identificação de fato financeiro;
• reconhecimento de conceito;
• seleção exaustiva de todos os fatos relacionados a um conceito;
• distinção de conceitos sem candidatos previamente definidos.

O que mostram os números

Principais parâmetros e resultados do estudo:

• 90 emissores, demonstrações do FY2025;
• 3 idiomas: inglês, francês, grego;
• 15 modelos testados;
• 97,3–99,4% de precisão no reconhecimento de conceitos entre os oito modelos de referência;
• 26,6–41,9% dos grupos reconhecidos corretamente com ao menos um fato omitido.

O título do artigo, Recognition Is Not Grounding, descreve bem o resultado. Reconhecer um conceito é, na essência, classificar: o modelo vê o contexto e escolhe um rótulo. A extração exaustiva funciona de outro jeito. É preciso percorrer todo o material, decidir sobre cada número e não perder nada. Um modelo pode entender sem erro que o assunto é, digamos, receita e, mesmo assim, não reunir todas as ocorrências dela no documento. Os autores não explicam as causas no resumo. Mas essa lacuna só fica visível porque as duas habilidades foram medidas sobre os mesmos dados.

Há duas outras descobertas igualmente importantes. A qualidade na distinção de conceitos sem candidatos sugeridos varia muito entre os modelos, ou seja, a formulação aberta da tarefa elimina mais modelos do que a escolha em uma lista pronta. Já os modelos especializados em finanças da amostra tiveram ganho limitado. O ajuste fino em textos do setor não resolve o problema da completude.

O que verificar no seu pipeline

Se você constrói uma extração de dados de demonstrações financeiras, por exemplo para triagem de emissores ou comparação de empresas de jurisdições diferentes, a acurácia da classificação de conceitos engana. Um número de 99% parece convincente, mas não diz quantos fatos de cada grupo chegaram à tabela final. A métrica deve ser o recall no nível de fatos e, melhor ainda, a proporção de grupos em que todos os números-alvo foram encontrados.

Vale testar também sem lista de candidatos: em tarefas reais, a taxonomia raramente chega pronta ao modelo. É útil calcular os resultados separadamente por idioma, sobretudo quando há idiomas com menos recursos, como o grego. Comprar um modelo financeiro especializado esperando mais completude ainda não vale a pena: pelos dados do estudo, o ganho é pequeno. É mais seguro montar uma segunda passada, com conferência programática dos números extraídos contra a taxonomia, onde ela existir, e revisão manual para os itens críticos. Um modelo que nomeia o conceito corretamente ainda não garante que você recebeu todos os números que o sustentam.