Ordenar datos con LLM: los algoritmos superan a los enfoques ingenuos

Muchos de quienes han intentado usar grandes modelos de lenguaje (LLM) para ordenar datos, por ejemplo para elegir el mejor elemento de una lista, se han topado con resultados decepcionantes. El problema no siempre está en el modelo, sino en el enfoque de ordenación. Hace poco hice un experimento en el que comparé cinco métodos de ordenación distintos con 164 publicaciones de mi canal de Telegram, y los resultados fueron bastante reveladores.

El enfoque ingenuo, que consiste en pedirle al LLM que puntúe cada elemento de la lista y ordenarlos según esas puntuaciones, suele resultar ineficaz. Los LLM tienden a cometer errores sistemáticos y no siempre son coherentes en sus valoraciones. Además, pueden verse influidos por el orden de los elementos en la lista. En pocas palabras, los LLM no están diseñados para ordenar directamente.

Una alternativa interesante que exploré es el algoritmo TrueSkill, desarrollado originalmente para el sistema de emparejamiento de jugadores de Xbox Live. TrueSkill estima el nivel de los jugadores a partir de los resultados de sus partidas y usa esas estimaciones para predecir la probabilidad de victoria en partidas futuras. Aplicado a la ordenación de datos, TrueSkill sirve para comparar los elementos de una lista entre sí y construir una clasificación a partir de esas comparaciones.

TrueSkill modela la habilidad de cada elemento como una distribución normal. Cuando se comparan dos elementos, el algoritmo actualiza sus distribuciones de habilidad según el resultado. Este proceso se repite con todos los pares de elementos de la lista hasta que las distribuciones se estabilizan. Las medias resultantes se usan después para clasificar los elementos.

En mi experimento, TrueSkill obtuvo resultados notablemente mejores que los enfoques ingenuos. Mostró una mayor correlación con los datos reales y fue menos propenso a errores sistemáticos. Sin embargo, conviene señalar que TrueSkill necesita muchas comparaciones para alcanzar una buena precisión. Esto puede ser un problema con listas de datos grandes.

¿Qué conclusiones se pueden sacar de este experimento? Primero, no conviene fiarse de los enfoques ingenuos para ordenar datos con LLM. Segundo, existen algoritmos alternativos, como TrueSkill, que pueden mejorar los resultados de forma significativa. Tercero, la elección del algoritmo adecuado depende de la tarea concreta y del tamaño de la lista de datos. En el futuro, quizá aparezcan algoritmos aún más eficientes para ordenar datos con LLM, diseñados específicamente para este fin. Eso abriría nuevas posibilidades para usar los LLM en tareas que exigen clasificación y selección precisas.