La clasificación perfecta de datos en LLM: algoritmos contra ingenuidad

Muchos que han intentado usar grandes modelos de lenguaje (LLMs) para ordenar datos, por ejemplo, para seleccionar el mejor elemento de una lista, se han encontrado con resultados decepcionantes. El problema no siempre está en el modelo en sí, sino en el enfoque de la clasificación. Recientemente, realicé un experimento comparando cinco métodos de clasificación diferentes en 164 publicaciones de mi canal de Telegram, y los resultados resultaron bastante reveladores.

El enfoque ingenuo, donde a los LLMs simplemente se les pide que evalúen cada elemento de la lista y los ordenen por calificaciones, a menudo resulta ineficaz. Esto se debe a que los LLMs son propensos a errores sistemáticos y no siempre son consistentes en sus evaluaciones. Además, pueden verse influenciados por el orden de los elementos en la lista. En pocas palabras, los LLMs no están diseñados para la clasificación directa.

Uno de los enfoques alternativos interesantes que exploré es el algoritmo TrueSkill, originalmente desarrollado para el sistema de emparejamiento de jugadores en Xbox Live. TrueSkill evalúa las habilidades de los jugadores basándose en los resultados de sus partidas y utiliza estas evaluaciones para predecir la probabilidad de ganar en futuros juegos. En el contexto de la clasificación de datos, TrueSkill se puede utilizar para comparar elementos de la lista entre sí y construir una clasificación basada en estas comparaciones.

TrueSkill funciona modelando la habilidad de cada elemento como una distribución normal. Cuando se comparan dos elementos, el algoritmo actualiza las distribuciones de sus habilidades en función del resultado de la comparación. Este proceso se repite para todos los pares de elementos de la lista hasta que las distribuciones de habilidades se estabilizan. Los valores medios resultantes de las distribuciones se utilizan luego para clasificar los elementos.

En mi experimento, TrueSkill mostró resultados significativamente mejores que los enfoques ingenuos. Proporcionó una correlación más alta con datos reales y fue menos propenso a errores sistemáticos. Sin embargo, es importante notar que TrueSkill requiere un gran número de comparaciones para lograr una buena precisión. Esto puede ser un problema para conjuntos de datos grandes.

¿Qué conclusiones se pueden extraer de este experimento? Primero, no confíes en enfoques ingenuos para la clasificación de datos en LLMs. Segundo, existen algoritmos alternativos, como TrueSkill, que pueden mejorar significativamente los resultados. Tercero, la elección del algoritmo correcto depende de la tarea específica y del tamaño de la lista de datos. En el futuro, pueden surgir algoritmos aún más eficientes para la clasificación de datos en LLMs, diseñados específicamente para este propósito. Esto abrirá nuevas oportunidades para usar LLMs en tareas que requieren una clasificación precisa y selección.