MULTIFINGROUND: los LLM reconocen conceptos contables con un 99% de acierto, pero pierden hechos

Los modelos de lenguaje casi nunca fallan al identificar de qué partida del informe se trata, pero tropiezan cuando deben reunir todas las cifras vinculadas a ella. Los autores del benchmark MULTIFINGROUND pasaron 15 modelos por los informes anuales de 90 emisores del FY2025, en inglés, francés y griego. Ocho modelos de referencia, tanto de API como open-weight, reconocen el concepto contable con una precisión del 97,3–99,4%. Sin embargo, en el 26,6–41,9% de los grupos correctamente reconocidos pasan por alto al menos un hecho objetivo.

Cómo está diseñado el benchmark

Comparar informes financieros entre países depende de dos habilidades. Primero, hay que entender que formulaciones distintas en idiomas distintos describen el mismo concepto contable. Después, hay que localizar todas las cifras que expresan ese concepto: en los estados principales, en las notas y en el texto explicativo. Las pruebas existentes evalúan estas habilidades por separado, de modo que es difícil saber si un modelo domina ambas sobre el mismo material.

MULTIFINGROUND cubre ese vacío. Los informes se redactaron de forma independiente y no son traducciones unos de otros, así que el modelo no puede apoyarse en un texto paralelo. Los autores alinearon los documentos mediante una taxonomía contable común y crearon anotaciones a nivel de hechos individuales, trazables hasta la fuente. El benchmark comprueba cuatro tareas:

• identificación del hecho financiero;
• reconocimiento del concepto;
• selección exhaustiva de todos los hechos que pertenecen al concepto;
• distinción de conceptos sin candidatos predefinidos.

Qué muestran las cifras

Parámetros clave y resultados del estudio:

• 90 emisores, informes del FY2025;
• 3 idiomas: inglés, francés y griego;
• 15 modelos evaluados;
• 97,3–99,4% de precisión en el reconocimiento de conceptos en los ocho modelos de referencia;
• 26,6–41,9% de los grupos correctamente reconocidos con al menos un hecho omitido.

El título del artículo, Recognition Is Not Grounding, describe con exactitud el resultado. El reconocimiento de conceptos es, en esencia, clasificación: el modelo ve el contexto y elige una etiqueta. La extracción exhaustiva funciona de otra manera. Hay que recorrer todo el material, decidir sobre cada número y no perder ninguno. Un modelo puede entender sin error que se habla, por ejemplo, de ingresos, y aun así no reunir todas sus apariciones en el documento. Los autores no explican las causas en el resumen. Pero la brecha solo resulta visible porque ambas habilidades se miden sobre los mismos datos.

Hay otros dos hallazgos igual de importantes. La calidad al distinguir conceptos sin candidatos previos varía mucho entre modelos; es decir, el planteamiento libre de la tarea discrimina más que elegir de una lista ya preparada. Además, los modelos especializados en finanzas incluidos en la muestra lograron una ventaja limitada. El ajuste fino con textos sectoriales no resuelve el problema de la exhaustividad.

Qué revisar en su pipeline

Si está construyendo un sistema de extracción de datos de informes financieros, por ejemplo para el cribado de emisores o para comparar empresas de distintas jurisdicciones, la accuracy en la clasificación de conceptos induce a error. Una cifra del 99% resulta convincente, pero no dice cuántos hechos de cada grupo llegaron a la tabla final. La métrica debería ser el recall a nivel de hechos o, mejor aún, la proporción de grupos en los que se encontraron todas las cifras objetivo.

Conviene probar también sin lista de candidatos: en tareas reales, la taxonomía rara vez se entrega al modelo ya preparada. Es útil calcular los resultados por separado para cada idioma, sobre todo si entre ellos hay alguno con menos recursos, como el griego. Por ahora no conviene adquirir un modelo financiero especializado esperando mayor exhaustividad: según estos datos, la mejora es modesta. Resulta más fiable añadir una segunda pasada, con una conciliación programática de las cifras extraídas con la taxonomía cuando exista, y una revisión manual para las partidas críticas. Que un modelo nombre correctamente un concepto no garantiza que haya obtenido todas las cifras en las que se sustenta.