Artificial Analysis endurece su prueba de IA: ahora exige 15 respuestas sin errores por documento

Una IA leyó correctamente el importe de una factura y encontró los datos del proveedor, pero determinó de forma incorrecta si el pago necesitaba una revisión adicional. Para una empresa, eso supone un documento procesado sin éxito. La elevada precisión en las respuestas individuales sirve de poco consuelo: un empleado tendrá que intervenir de todos modos.

Artificial Analysis ha presentado la segunda versión de Decision Index, su clasificación de modelos para la toma de decisiones. La actualización ofrece una referencia útil para quienes automatizan el procesamiento de documentos: evaluar el éxito de la tarea completa, tener en cuenta la confianza del modelo y comparar los costes por resultado terminado. Según sus autores, los conjuntos de datos privados representan ahora el 45% del peso del índice, frente al 25% de la primera versión. Con ello se busca dificultar que los modelos se ajusten a preguntas de evaluación conocidas.

Un 97% de respuestas correctas no equivale a un documento completamente procesado

La nueva prueba privada AA-Paperclip contiene 1500 documentos: currículos, recibos, facturas y artículos científicos. Para cada documento, el modelo debe tomar cinco decisiones y extraer diez datos. Un documento solo se aprueba cuando las 15 respuestas son correctas. Esta prueba representa el 30% del índice.

Pensemos en el procesamiento de una factura entrante. El sistema extrae el importe, la moneda, la fecha y otros campos, y después decide a dónde enviar el documento. Si un campo importante o una decisión son incorrectos, el flujo automatizado puede fallar. Una evaluación por preguntas individuales puede diluir ese problema entre decenas de respuestas correctas. Evaluar el documento completo lo revela de inmediato.

En los resultados de Artificial Analysis, Drex Max v1.1 responde correctamente al 97% de las preguntas individuales de AA-Paperclip, pero solo supera por completo el 63% de los documentos. Las cifras correspondientes de Claude Haiku 5.5 (Max) son del 99% y el 92%. Una diferencia de dos puntos porcentuales en las respuestas se convierte en una brecha de 29 puntos en los documentos.

Para los equipos de producto, esto justifica revisar sus propias evaluaciones. Además de la precisión de los campos, conviene medir la proporción de documentos que completan todo el flujo sin correcciones. A su vez, la exigencia de que todo sea correcto debe adaptarse a la tarea: un error en un campo opcional y un importe de pago incorrecto tienen consecuencias distintas.

Un error cometido con confianza reduce la puntuación

La nueva métrica principal, Decision Score, tiene en cuenta tanto si la respuesta es correcta como la probabilidad declarada de que lo sea. Un error cometido con confianza recibe una puntuación inferior a la de un error acompañado de incertidumbre reconocida. La puntuación final no puede interpretarse como el porcentaje de respuestas correctas.

La utilidad práctica es clara: si el modelo tiene dudas, la aplicación puede enviar el documento a un empleado o a un modelo más capaz. Pero esa derivación solo funciona cuando la confianza está realmente relacionada con la calidad. Afirmar que se tiene un "90% de confianza" no basta: esa relación debe comprobarse con datos propios.

Otra nueva prueba, AA-Symmetry, evalúa la consistencia de las respuestas cuando se reformulan las preguntas. Sus autores cambian el orden de las opciones, sus etiquetas y la formulación de la pregunta. Para los desarrolladores, es un riesgo conocido: un pequeño cambio en una plantilla altera de repente el comportamiento del sistema.

Hay un matiz. Según las observaciones de Artificial Analysis, la elevada consistencia de algunos modelos se debe a que se abstienen de responder con frecuencia. Una abstención sistemática resulta útil como señal de cautela, pero por sí sola no significa que el sistema resuelva más tareas.

Calcule los costes del flujo completo

La clasificación también muestra por qué es arriesgado comparar modelos únicamente por su precio por millón de tokens. Algunos servicios contabilizan el documento de entrada una sola vez para todas las preguntas; otros vuelven a procesarlo para cada pregunta.

Según los cálculos de Artificial Analysis, un millón de tareas cuesta $102 con Drex Max v1.1 y $780 con GLiDE v1.2. Sin embargo, el precio anunciado de los tokens de GLiDE es solo un 33% superior. El procesamiento repetido de los datos de entrada explica una parte sustancial de la diferencia. Estos importes corresponden a la metodología de la clasificación; el presupuesto de una aplicación concreta dependerá de sus documentos y del número de solicitudes.

Antes de elegir un modelo, conviene procesar la misma muestra a través de todo el flujo de trabajo. Mida la proporción de documentos completados, la latencia, los costes y el número de derivaciones a personas. Después, compruebe por separado qué ocurre al reformular las preguntas y hasta qué punto puede confiar en las estimaciones de confianza. El índice actualizado ofrece una plantilla de evaluación útil, pero serán sus propios documentos los que determinen qué modelo funciona mejor en su proceso.