FinMMEval 2026 Task 2: un benchmark de QA financiero en 5 idiomas, con los cuatro mejores sistemas separados por menos de un 1%

FinMMEval 2026 Task 2, una competición de preguntas y respuestas financieras breves sobre datos multilingües, ha dado a conocer sus resultados. En julio de 2026, los organizadores publicaron el ranking final de 12 sistemas, en el que los cuatro mejores están separados por menos de un punto porcentual en la métrica ROUGE-1 F1 sobre un conjunto de 256 preguntas.

Qué evalúa el benchmark

FinMMEval 2026 Task 2 mide con qué precisión responden los sistemas de AI a preguntas financieras a partir de documentos en cinco idiomas a la vez. Cada elemento de la prueba vincula una pregunta en inglés con informes financieros y noticias en inglés, chino, japonés, español y griego, y el sistema debe devolver una única respuesta breve en formato JSONL.

• El conjunto final consta de 256 preguntas, repartidas a partes iguales entre los niveles easy y expert
• Cada nivel tiene 4 plantillas de preguntas, desplegadas sobre 32 grupos de informes corporativos
• Idiomas de los datos de origen: inglés, chino, japonés, español y griego
• La métrica de clasificación es el ROUGE-1 F1 con promedio macro calculado por cada elemento
• El ranking final incluye 12 sistemas

Cómo se evaluó a los sistemas

Los organizadores mantuvieron ocultas las respuestas de referencia mientras estuvo abierto el plazo de inscripción y clasificaron a los participantes por el ROUGE-1 F1 con promedio macro a nivel de elemento, frente a sus propias respuestas de referencia. La dispersión en la cabeza de la tabla resultó mínima: los cuatro primeros sistemas están separados por menos de un punto porcentual en ROUGE-1 F1. Es decir, los líderes van prácticamente a la par, y en ese margen la elección de arquitectura se decide por fracciones de punto.

«Los sistemas más fuertes están muy agrupados: los cuatro primeros están separados por menos de un punto porcentual en ROUGE-1 F1», señala el informe de los organizadores de

FinMMEval 2026, publicado en arXiv.

Qué aplicaron los participantes

Los equipos construyeron sus soluciones en torno al trabajo con fuentes en distintos idiomas, y no en torno a un único modelo. Según los artículos de sistema publicados junto con los resultados, los participantes documentaron el uso de retrieval-augmented generation (RAG), el tratamiento de evidencias entre idiomas, el prompting estructurado, la compresión de respuestas y estrategias de validación. Precisamente el conjunto de 32 grupos de informes corporativos y cuatro plantillas de preguntas por nivel obligaba a los sistemas a extraer un dato de un documento en chino o en griego y a condensar la respuesta en una formulación breve y precisa en inglés.

Por qué importa para la AI financiera

FinMMEval 2026 Task 2 muestra dónde está hoy el límite de los modelos de lenguaje en finanzas: no en la generación de texto, sino en la extracción precisa de un dato de informes financieros en un idioma poco familiar. Un ranking tan apretado, con los cuatro primeros a menos de un 1%, indica que el QA financiero multilingüe deja de ser un problema que resuelve un solo modelo potente y pasa a ser una cuestión de ingeniería de pipeline: búsqueda, correspondencia entre idiomas y compresión. Para bancos y fondos que trabajan con informes en varios idiomas, es la referencia de calidad más cercana.

Qué significa

El benchmark refleja la madurez del QA financiero multilingüe: los líderes ya son casi indistinguibles según la métrica, y el progreso futuro se medirá en fracciones de punto y en la calidad del trabajo con las fuentes, no en saltos de un solo modelo.

Preguntas frecuentes

¿Qué es FinMMEval 2026 Task 2?

Es un benchmark competitivo de preguntas y respuestas financieras breves: el sistema recibe una pregunta en inglés y una selección de informes financieros y noticias en cinco idiomas, y devuelve una única respuesta condensada. El conjunto final consta de 256 preguntas.

¿En qué idiomas se presentan los datos?

Las preguntas están formuladas en inglés, mientras que los documentos financieros y las noticias que las acompañan están en inglés, chino, japonés, español y griego. La tarea del sistema es extraer el dato de fuentes en distintos idiomas y dar una respuesta precisa.

¿Cómo se evaluó y se clasificó a los sistemas?

Las respuestas de referencia se mantuvieron ocultas durante el periodo de inscripción, y el ranking final de 12 sistemas se elaboró según el ROUGE-1 F1 con promedio macro a nivel de elemento. Los cuatro primeros participantes están separados por menos de un punto porcentual en esta métrica.