Artificial Analysis lanza AA-Omniscience v1.1: el Net Score baja en promedio unos 2 puntos

Artificial Analysis ha lanzado AA-Omniscience v1.1, una versión actualizada del benchmark que evalúa el conocimiento factual de los modelos de lenguaje y su propensión a alucinar. La métrica final se llama Net Score: según la metodología del benchmark, las respuestas erróneas se penalizan, de modo que un modelo que miente con aplomo queda peor que otro que reconoce con honestidad que no sabe responder. Con el conjunto de preguntas actualizado, el Net Score de los modelos es en promedio unos 2 puntos inferior, la reducción mediana es de 0,6 puntos y la correlación de rangos de Spearman con la primera versión es de 0,98. El equipo publicó estas cifras en un post en X.

Qué ha cambiado en cifras

La principal conclusión de los autores: el ranking apenas se ha resentido. La correlación de rangos de Spearman indica en qué medida coincide el orden de los modelos en dos listas; entre v1 y v1.1 es de 0,98. Un valor cercano a uno significa que el modelo que lideraba en la primera versión, en la mayoría de los casos, sigue en la parte alta de la tabla en la segunda. Lo mismo vale para la zona media y la baja.

Aun así, las puntuaciones absolutas se han desplazado. Con el conjunto actualizado, los modelos obtienen en promedio unos 2 puntos menos de Net Score. La reducción mediana es bastante más modesta: 0,6 puntos. La brecha entre media y mediana indica que el modelo típico pierde poco, y que el promedio lo arrastran hacia abajo algunos participantes con caídas más fuertes. El post en X se interrumpe en una frase que dice que en algunos modelos los cambios son mucho mayores, así que los detalles por modelo habrá que buscarlos en la publicación completa de Artificial Analysis.

Por qué actualizar un benchmark de conocimiento

Los benchmarks con preguntas fijas envejecen. Las preguntas acaban en los conjuntos de entrenamiento, los desarrolladores empiezan a optimizar los modelos para un conjunto conocido y en los propios enunciados aparecen imprecisiones y respuestas obsoletas. Actualizar el conjunto es la forma habitual de devolver poder de discriminación a la prueba. Una ligera bajada general de las puntuaciones encaja con esa lógica: con preguntas nuevas o corregidas, los resultados suelen ser algo más modestos. Sin embargo, en el texto disponible del post Artificial Analysis no indica las causas de la bajada, así que esto es solo una explicación verosímil, no un hecho confirmado.

Para un benchmark así, la estabilidad del orden de los modelos importa más que los valores absolutos. El Net Score sirve para comparar modelos entre sí: cuál inventa menos datos y sabe mejor cuándo conviene callar. Si la correlación hubiera caído a 0,7–0,8, habría significado que v1.1 mide otra cosa y que habría que revisar las conclusiones anteriores. Con 0,98, las comparaciones previas conservan en general su validez.

Cómo leer los resultados en la práctica

Primera regla: no mezclar versiones. Si en una tabla de modelos unas cifras proceden de v1 y otras de v1.1, la comparación quedará sesgada en torno a 2 puntos de media, y más en algunos modelos. Para una evaluación interna hay que tomar los valores de una sola versión e indicar cuál es.

Segunda: las diferencias pequeñas en Net Score no deben considerarse una prueba de superioridad. Un desplazamiento mediano de 0,6 puntos es comparable a la diferencia entre modelos vecinos en la zona densa del ranking. Dos modelos con puntuaciones cercanas pueden perfectamente intercambiar posiciones al cambiar de versión, y una correlación de Spearman alta no lo descarta: describe el panorama general, no cada pareja.

Tercera: si su tarea es sensible a las alucinaciones (asistentes de consulta, soporte, trabajo con documentos), conviene fijarse en los modelos cuyo resultado ha cambiado claramente más que la media. Son los que pudieron beneficiarse del conjunto de preguntas anterior. Cuando Artificial Analysis publique los detalles, conviene contrastar la lista con los modelos que usa en producción.

Las limitaciones son evidentes: el post original no incluye una lista de modelos, ni datos sobre el tamaño y la composición del nuevo conjunto de preguntas, ni una explicación de qué preguntas se sustituyeron. Solo se sabe que v1.1 conserva el orden de v1 con una correlación de 0,98, que el Net Score medio es unos 2 puntos inferior y el mediano, 0,6 puntos. Para la mayoría de los equipos la conclusión es sencilla: el ranking se puede seguir usando, pero las cifras de la versión antigua y de la nueva no deben ponerse en la misma columna.