Ordenação de dados em LLMs: algoritmos contra a ingenuidade

Muita gente que tentou usar grandes modelos de linguagem (LLMs) para ordenar dados, por exemplo para escolher o melhor item de uma lista, se deparou com resultados decepcionantes. O problema nem sempre está no modelo em si, mas na abordagem de ordenação. Recentemente fiz um experimento comparando cinco métodos de ordenação diferentes em 164 posts do meu canal do Telegram, e os resultados foram bastante reveladores.

A abordagem ingênua, em que simplesmente se pede ao LLM que avalie cada item da lista e se ordena pelas notas, costuma ser ineficaz. Os LLMs tendem a cometer erros sistemáticos e nem sempre são consistentes nas avaliações. Além disso, podem ser influenciados pela ordem dos itens na lista. Em resumo, os LLMs não foram feitos para ordenar diretamente.

Uma alternativa interessante que investiguei é o algoritmo TrueSkill, desenvolvido originalmente para o sistema de matchmaking do Xbox Live. O TrueSkill estima a habilidade dos jogadores com base nos resultados de suas partidas e usa essas estimativas para prever a probabilidade de vitória em jogos futuros. Na ordenação de dados, o TrueSkill pode ser usado para comparar os itens de uma lista entre si e montar um ranking a partir dessas comparações.

O TrueSkill modela a habilidade de cada item como uma distribuição normal. Quando dois itens são comparados, o algoritmo atualiza as distribuições de habilidade deles conforme o resultado. Esse processo se repete para todos os pares de itens da lista até que as distribuições se estabilizem. As médias resultantes das distribuições são então usadas para ranquear os itens.

No meu experimento, o TrueSkill teve resultados significativamente melhores que as abordagens ingênuas. Ele apresentou maior correlação com os dados reais e foi menos sujeito a erros sistemáticos. No entanto, é importante notar que o TrueSkill exige um grande número de comparações para atingir boa precisão. Isso pode ser um problema para listas grandes de dados.

Quais conclusões é possível tirar desse experimento? Primeiro, não vale confiar em abordagens ingênuas para ordenar dados em LLMs. Segundo, existem algoritmos alternativos, como o TrueSkill, que podem melhorar bastante os resultados. Terceiro, a escolha do algoritmo certo depende da tarefa específica e do tamanho da lista de dados. No futuro, talvez surjam algoritmos ainda mais eficientes para ordenar dados em LLMs, criados especificamente para esse fim. Isso abriria novas possibilidades de uso dos LLMs em tarefas que exigem ranqueamento e seleção precisos.