FINESSE-Bench: cómo evaluar LLM en finanzas sin engaños

El laboratorio de inteligencia artificial de Finam ha publicado una versión actualizada de FINESSE-Bench, su benchmark abierto para evaluar la capacidad de los LLM en el ámbito financiero. No es solo una ampliación de la versión anterior: se ha rehecho la metodología y se ha extendido la cobertura de tareas financieras.

Por qué hace falta un benchmark financiero específico

El problema de fondo: los LLM que obtienen resultados excelentes en benchmarks abiertos populares (MMLU, ARC, HellaSwag) a menudo no son capaces de resolver tareas financieras reales. En la práctica, Finam observa una discrepancia sistemática entre la precisión general y la precisión en escenarios financieros.

En finanzas hay que predecir bien los riesgos, entender los pares de divisas, interpretar informes financieros y analizar gráficos de precios. Un error en el ámbito financiero puede costar millones.

Por eso, FINESSE-Bench no se limita a comprobar conocimientos: evalúa el comportamiento del modelo ante:

• El aumento de la complejidad de las tareas
• La transferencia de calidad entre tipos de tareas financieras
• Escenarios especializados (trading, gestión de riesgos, analítica)

Novedades de la nueva versión

Desde la primera versión de FINESSE-Bench ha cambiado bastante:

• Ampliación de los datasets: se han añadido nuevas pruebas de análisis técnico (CFTe-like Level 1)
• Actualización de CFA-like: se han corregido las preguntas problemáticas del bloque de exámenes financieros
• Mayor número de modelos: la evaluación abarca más LLM
• Métricas mejoradas: se ha incorporado una estimación bootstrap para reducir la varianza de los resultados
• Análisis de transferencia: comprueba hasta qué punto la calidad se traslada entre tipos de tareas financieras
• Análisis de saturación: evalúa la capacidad de los propios conjuntos de preguntas para diferenciar modelos

Por qué importa para la IA financiera

Las empresas fintech experimentan constantemente con LLM para:

• Analizar noticias financieras y su efecto en los precios
• Construir carteras de forma automática
• Verificar el cumplimiento de requisitos regulatorios (compliance)
• Generar recomendaciones de inversión
• Algoritmos de trading que reaccionan al texto

Un benchmark bien calibrado evita errores costosos, como cuando un modelo parece inteligente pero en la práctica pierde capital.

Qué significa

El auge de los benchmarks específicos de dominio (financieros, médicos, jurídicos) muestra la madurez de la industria de la IA. Ya no se puede evaluar a los LLM solo con pruebas generales. Cada sector necesita su propia vara de medir. FINESSE-Bench es un ejemplo de cómo las empresas que implantan IA se ven obligadas a desarrollar sus propios puntos de control para asegurarse de que el modelo realmente puede trabajar en su dominio, y no simplemente tiene una puntuación alta en un benchmark sacado de internet.