FinMMEval 2026 Task 2: benchmark de QA financeiro em 5 idiomas tem top 4 separado por menos de 1%

O FinMMEval 2026 Task 2, competição de perguntas e respostas curtas sobre finanças com dados multilíngues, teve seus resultados divulgados: em julho de 2026, os organizadores publicaram o ranking final com 12 sistemas, no qual os quatro melhores ficam separados por menos de um ponto percentual na métrica ROUGE-1 F1, em um conjunto de 256 perguntas.

O que o benchmark avalia

O FinMMEval 2026 Task 2 mede a precisão com que sistemas de AI respondem a perguntas financeiras com base em documentos em cinco idiomas ao mesmo tempo. Cada item do teste associa uma pergunta em inglês a demonstrações financeiras e notícias em inglês, chinês, japonês, espanhol e grego, e o sistema deve devolver uma única resposta curta no formato JSONL.

• O conjunto final tem 256 perguntas, divididas igualmente entre os níveis easy e expert
• Cada nível tem 4 modelos de pergunta, aplicados a 32 grupos de relatórios corporativos
• Idiomas dos dados de origem: inglês, chinês, japonês, espanhol e grego
• Métrica de ranqueamento: macro-averaged ROUGE-1 F1 calculada por item
• O ranking final inclui 12 sistemas

Como os sistemas foram avaliados

Os organizadores mantiveram as respostas de referência ocultas durante o período de envio e ranquearam os participantes pelo macro-averaged item-level ROUGE-1 F1, comparado às respostas de referência da própria organização. A diferença no topo foi mínima: os 4 primeiros sistemas ficam separados por menos de um ponto percentual em ROUGE-1 F1. Na prática, os líderes estão praticamente empatados, e a escolha de arquitetura nessa faixa decide frações de ponto percentual.

«Os sistemas mais fortes estão muito próximos: o top 4 é separado por menos de um ponto percentual em ROUGE-1 F1», diz o relatório dos organizadores do

FinMMEval 2026, publicado no arXiv.

O que os participantes usaram

As equipes construíram suas soluções em torno do trabalho com fontes em vários idiomas, e não de um único modelo. De acordo com os artigos dos sistemas, publicados junto com os resultados, os participantes documentaram o uso de retrieval-augmented generation (RAG), tratamento de evidências entre idiomas, prompting estruturado, compressão de respostas e estratégias de validação. Foi justamente o conjunto de 32 grupos de relatórios corporativos, com quatro modelos de pergunta por nível, que obrigou os sistemas a extrair um fato de um documento em chinês ou grego e condensá-lo em uma formulação curta e precisa em inglês.

Por que isso importa para a AI financeira

O FinMMEval 2026 Task 2 mostra onde está hoje o limite dos modelos de linguagem em finanças: não na geração de texto, mas na extração precisa de um fato de demonstrações financeiras em um idioma desconhecido. O ranking apertado, com o top 4 a menos de 1% de distância, indica que o QA financeiro multilíngue deixa de ser um problema para um único modelo forte e passa a ser uma questão de engenharia de pipeline: busca, correspondência entre idiomas e compressão. Para bancos e fundos que lidam com relatórios em vários idiomas, esse é o referencial de qualidade mais próximo.

O que isso significa

O benchmark indica a maturidade do QA financeiro multilíngue: os líderes já são quase indistinguíveis pela métrica, e o progresso daqui em diante será medido em frações de ponto percentual e na qualidade do trabalho com as fontes, não em saltos de um único modelo.

Perguntas frequentes

O que é o FinMMEval 2026 Task 2?

É um benchmark competitivo de perguntas e respostas curtas sobre finanças: o sistema recebe uma pergunta em inglês e um conjunto de demonstrações financeiras e notícias em cinco idiomas, e devolve uma única resposta concisa. O conjunto final tem 256 perguntas.

Em quais idiomas estão os dados?

As perguntas são formuladas em inglês, enquanto os documentos financeiros e as notícias que as acompanham estão em inglês, chinês, japonês, espanhol e grego. A tarefa do sistema é extrair o fato de fontes em vários idiomas e dar uma resposta precisa.

Como os sistemas foram avaliados e ranqueados?

As respostas de referência ficaram ocultas durante o envio das inscrições, e o ranking final de 12 sistemas foi montado pelo macro-averaged item-level ROUGE-1 F1. Os 4 primeiros participantes ficam separados por menos de um ponto percentual nessa métrica.