El conjunto público de AA-Omniscience v1.1 coincide con el cerrado en Net Score, con una correlación de 0,99

Artificial Analysis ha publicado en Hugging Face un nuevo conjunto público para el benchmark AA-Omniscience v1.1. Según la compañía, lo calibró específicamente para que su dificultad coincida con la del conjunto cerrado. En el momento del lanzamiento, la correlación entre los resultados públicos y los cerrados en la métrica AA-Omniscience Net Score es de 0,99, y la diferencia mediana, de 0,0 puntos. Los autores también compararon la precisión y la tasa de alucinaciones en ambos conjuntos, pero el texto completo del post está cortado en nuestra fuente, así que no disponemos de cifras concretas para esas métricas.

Por qué un benchmark necesita dos conjuntos

AA-Omniscience mide con qué precisión responden los modelos de lenguaje a preguntas factuales y con qué frecuencia se inventan una respuesta en lugar de admitir que no la saben. Net Score combina ambos aspectos en una sola puntuación: una respuesta correcta la sube y un error cometido con seguridad la baja. Un modelo que responde con menos frecuencia pero casi sin inventar puede superar a otro que contesta a todo y se equivoca a menudo.

Este esquema tiene un problema conocido. Si todas las preguntas son de acceso abierto, tarde o temprano acaban en los datos de entrenamiento y las cifras dejan de reflejar el conocimiento real. Por eso la evaluación principal se mantiene sobre un conjunto cerrado que solo conoce el organizador. Pero los equipos independientes quieren ejecutar los modelos por su cuenta: comprobar sus propios fine-tunings, comparar cuantizaciones, depurar prompts y pipelines. Para eso necesitan un conjunto abierto, que solo resulta útil si sus resultados predicen los del cerrado.

Qué significan 0,99 y 0,0

Una correlación de 0,99 significa que el orden de los modelos casi no cambia entre el conjunto público y el cerrado. Si el modelo A supera al modelo B con datos abiertos, es muy probable que también lo supere con los cerrados. La diferencia mediana de 0,0 puntos indica algo distinto: las puntuaciones coinciden no solo en el ranking, sino también en valores absolutos. Un modelo típico obtiene en el conjunto abierto el mismo Net Score que en el cerrado.

Ambos indicadores se complementan. La correlación podría ser alta incluso con un desplazamiento sistemático: por ejemplo, si todos los modelos puntuaran 10 puntos más en el conjunto abierto. Una mediana de la diferencia cercana a cero descarta precisamente ese desplazamiento. Para los profesionales, esto significa que el conjunto abierto sirve no solo para comparar, sino también para estimar de forma aproximada el nivel de un modelo.

Limitaciones que conviene tener presentes

En primer lugar, los autores hablan de coincidencia «en el momento del lanzamiento». Las preguntas públicas siguen siendo públicas: pueden incluirse en los corpus de entrenamiento y, entonces, los resultados en el conjunto abierto empezarían a crecer más rápido que en el cerrado. Habrá que volver a comprobar la correlación con el tiempo.

En segundo lugar, los indicadores se refieren a los modelos que Artificial Analysis ya ha evaluado en ambos conjuntos. Para arquitecturas nuevas o estrategias poco habituales de abstención de respuesta, la coincidencia no está garantizada. Las métricas que penalizan los errores son especialmente sensibles a cómo decide el modelo si responde o se abstiene.

En tercer lugar, solo hemos visto un post breve. Conviene consultar el tamaño del conjunto, la lista de temas y la metodología de calibración de la dificultad en la ficha del dataset en Hugging Face y en la documentación de Artificial Analysis.

La conclusión práctica es sencilla. Si está eligiendo un modelo para tareas en las que un dato inventado sale caro, como atención al cliente o consultas jurídicas o médicas, ahora puede probarlo por su cuenta con el conjunto abierto de AA-Omniscience y esperar un resultado cercano al oficial. Para la comparación final entre modelos de distintos proveedores, sigue siendo más razonable fijarse en el conjunto cerrado, que la propia Artificial Analysis actualiza y controla.