FINESSE-Bench: como avaliar LLMs em finanças sem se enganar

O laboratório de inteligência artificial da Finam publicou uma versão atualizada do FINESSE-Bench, benchmark aberto que mede a capacidade dos LLMs de trabalhar no domínio financeiro. Não é apenas uma ampliação da versão anterior: a metodologia foi reformulada e a cobertura de tarefas financeiras, expandida.

Por que é preciso um benchmark financeiro específico

O problema central: LLMs que têm ótimos resultados em benchmarks abertos populares (MMLU, ARC, HellaSwag) frequentemente não conseguem resolver tarefas financeiras reais. Na prática, a Finam observa uma divergência sistemática entre a precisão geral e a precisão em cenários financeiros.

Em finanças, é preciso prever riscos corretamente, entender pares de moedas, interpretar relatórios financeiros e analisar gráficos de preços. Um erro no domínio financeiro pode custar milhões.

Por isso, o FINESSE-Bench não se limita a testar conhecimento: ele avalia o comportamento do modelo diante de:

• Aumento da complexidade das tarefas
• Transferência de qualidade entre tipos de tarefas financeiras
• Cenários especializados (trading, gestão de riscos, análise)

O que mudou na nova versão

Desde a primeira versão do FINESSE-Bench, mudou bastante coisa:

• Datasets ampliados: foram adicionados novos testes de análise técnica (CFTe-like Level 1)
• Atualização do CFA-like: perguntas problemáticas do bloco de exames financeiros foram corrigidas
• Mais modelos: os testes abrangem mais LLMs
• Métricas aprimoradas: foi incluída a estimativa bootstrap para reduzir a variância dos resultados
• Análise de transferência: verifica em que medida a qualidade se transfere entre tipos de tarefas financeiras
• Análise de saturação: avalia a capacidade de diferenciação dos próprios conjuntos de perguntas

Por que isso importa para a IA financeira

As fintechs experimentam o tempo todo com LLMs para:

• Analisar notícias financeiras e seu impacto nos preços
• Montar carteiras automaticamente
• Verificar conformidade com exigências regulatórias (compliance)
• Gerar recomendações de investimento
• Algoritmos de trading que reagem a texto

Um benchmark bem calibrado evita erros caros, quando o modelo parece inteligente, mas na prática perde capital.

O que isso significa

O crescimento de benchmarks específicos de domínio (financeiros, médicos, jurídicos) mostra a maturidade do setor de IA. Não dá mais para avaliar LLMs apenas com testes gerais. Cada setor precisa da sua própria régua. O FINESSE-Bench é um exemplo de como empresas que adotam IA são forçadas a criar seus próprios pontos de controle para garantir que o modelo realmente consegue trabalhar no seu domínio, e não apenas tem uma pontuação alta em um benchmark tirado da internet.