Ordenação perfeita de dados em LLM: algoritmos versus ingenuidade

Muitos que tentaram usar grandes modelos de linguagem (LLMs) para ordenar dados, por exemplo, para selecionar o melhor item de uma lista, enfrentaram resultados desapontadores. O problema nem sempre está no modelo em si, mas na abordagem da ordenação. Recentemente, conduzi um experimento comparando cinco métodos diferentes de ordenação em 164 postagens do meu canal no Telegram, e os resultados se mostraram bastante reveladores.

A abordagem ingênua, onde os LLMs são simplesmente solicitados a avaliar cada item da lista e ordená-los por classificações, muitas vezes se mostra ineficaz. Isso ocorre porque os LLMs são propensos a erros sistemáticos e nem sempre são consistentes em suas avaliações. Além disso, podem ser influenciados pela ordem dos itens na lista. Simplificando, os LLMs não são projetados para ordenação direta.

Uma das abordagens alternativas interessantes que explorei é o algoritmo TrueSkill, originalmente desenvolvido para o sistema de compatibilidade de jogadores no Xbox Live. TrueSkill avalia as habilidades dos jogadores com base nos resultados de suas partidas e usa essas avaliações para prever a probabilidade de vitória em jogos futuros. No contexto de ordenação de dados, o TrueSkill pode ser usado para comparar itens da lista entre si e construir um ranking baseado nessas comparações.

TrueSkill funciona modelando a habilidade de cada item como uma distribuição normal. Quando dois itens são comparados, o algoritmo atualiza as distribuições de suas habilidades com base no resultado da comparação. Este processo é repetido para todos os pares de itens da lista até que as distribuições de habilidades se estabilizem. Os valores médios resultantes das distribuições são então usados para classificar os itens.

No meu experimento, TrueSkill mostrou resultados significativamente melhores do que as abordagens ingênuas. Forneceu uma correlação mais alta com dados reais e foi menos propenso a erros sistemáticos. No entanto, é importante notar que TrueSkill requer um grande número de comparações para alcançar boa precisão. Isso pode ser um problema para grandes conjuntos de dados.

Que conclusões podem ser tiradas deste experimento? Primeiro, não confie em abordagens ingênuas para ordenação de dados em LLMs. Segundo, existem algoritmos alternativos, como TrueSkill, que podem melhorar significativamente os resultados. Terceiro, a escolha do algoritmo correto depende da tarefa específica e do tamanho da lista de dados. No futuro, algoritmos ainda mais eficientes para ordenação de dados em LLMs podem surgir, especificamente projetados para este propósito. Isso abrirá novas oportunidades para usar LLMs em tarefas que requerem ranking preciso e seleção.