Ordenação perfeita de dados em LLM: algoritmos versus ingenuidade

Muitos que tentaram usar grandes modelos de linguagem (LLM) para ordenar dados, por exemplo, para selecionar o melhor elemento de uma lista, depararam-se com resultados decepcionantes. O problema nem sempre está no modelo em si, mas na abordagem de ordenação. Recentemente, realizei um experimento comparando cinco métodos diferentes de ordenação em 164 posts do meu canal do Telegram, e os resultados foram bastante reveladores.

A abordagem ingênua, em que simplesmente se pede ao LLM que avalie cada elemento da lista e os ordene pelas notas, frequentemente se mostra ineficaz. Isso ocorre porque os LLM são propensos a erros sistemáticos e nem sempre são consistentes em suas avaliações. Além disso, podem ser influenciados pela ordem dos elementos na lista. Em termos simples, os LLM não foram projetados para ordenação direta.

Uma das abordagens alternativas interessantes que investiguei é o algoritmo TrueSkill, originalmente desenvolvido para o sistema de matchmaking do Xbox Live. O TrueSkill avalia as habilidades dos jogadores com base nos resultados de suas partidas e usa essas avaliações para prever a probabilidade de vitória em jogos futuros. No contexto da ordenação de dados, o TrueSkill pode ser usado para comparar elementos da lista entre si e construir um ranking com base nessas comparações.

O TrueSkill funciona modelando a habilidade de cada elemento como uma distribuição normal. Quando dois elementos são comparados, o algoritmo atualiza as distribuições de suas habilidades com base no resultado da comparação. Esse processo se repete para todos os pares de elementos da lista até que as distribuições de habilidades se estabilizem. Os valores médios das distribuições obtidos são então usados para ranquear os elementos.

No meu experimento, o TrueSkill apresentou resultados significativamente melhores do que as abordagens ingênuas. Ele proporcionou uma correlação mais alta com os dados reais e foi menos suscetível a erros sistemáticos. No entanto, é importante observar que o TrueSkill requer um grande número de comparações para alcançar boa precisão. Isso pode ser um problema para listas de dados extensas.

Quais conclusões podem ser tiradas desse experimento? Em primeiro lugar, não se deve confiar em abordagens ingênuas para ordenação de dados em LLM. Em segundo lugar, existem algoritmos alternativos, como o TrueSkill, que podem melhorar significativamente os resultados. Em terceiro lugar, a escolha do algoritmo correto depende da tarefa específica e do tamanho da lista de dados. No futuro, possivelmente surgirão algoritmos ainda mais eficientes para ordenação de dados em LLM, especialmente projetados para essa finalidade. Isso abrirá novas possibilidades para o uso de LLM em tarefas que exigem ranqueamento preciso e seleção.