Trier des données avec un LLM : les algorithmes battent la naïveté

Beaucoup de ceux qui ont tenté d'utiliser de grands modèles de langage (LLM) pour trier des données, par exemple pour choisir le meilleur élément d'une liste, ont été confrontés à des résultats décevants. Le problème ne vient pas toujours du modèle lui-même, mais de la manière de trier. J'ai récemment mené une expérience comparant cinq méthodes de tri différentes sur 164 posts de ma chaîne Telegram, et les résultats se sont révélés très instructifs.

L'approche naïve, qui consiste à demander simplement au LLM de noter chaque élément de la liste puis à les trier selon ces notes, s'avère souvent inefficace. Les LLM ont tendance à commettre des erreurs systématiques et ne sont pas toujours cohérents dans leurs évaluations. Ils peuvent en outre être influencés par l'ordre des éléments dans la liste. Autrement dit, les LLM ne sont pas conçus pour trier directement.

Une alternative intéressante que j'ai explorée est l'algorithme TrueSkill, conçu à l'origine pour le système d'appariement des joueurs de Xbox Live. TrueSkill estime le niveau des joueurs d'après les résultats de leurs matchs et s'appuie sur ces estimations pour prédire la probabilité de victoire lors de parties futures. Pour le tri de données, TrueSkill permet de comparer les éléments d'une liste entre eux et d'établir un classement à partir de ces comparaisons.

TrueSkill modélise le niveau de chaque élément sous la forme d'une distribution normale. Quand deux éléments sont comparés, l'algorithme met à jour leurs distributions en fonction du résultat. Ce processus se répète pour toutes les paires d'éléments de la liste jusqu'à ce que les distributions se stabilisent. Les moyennes obtenues servent ensuite à classer les éléments.

Dans mon expérience, TrueSkill a donné des résultats nettement meilleurs que les approches naïves. Il a présenté une corrélation plus élevée avec les données réelles et s'est montré moins sujet aux erreurs systématiques. Il faut toutefois souligner que TrueSkill nécessite un grand nombre de comparaisons pour atteindre une bonne précision. Cela peut poser problème pour de grandes listes de données.

Quelles conclusions tirer de cette expérience ? Premièrement, mieux vaut ne pas se fier aux approches naïves pour trier des données avec un LLM. Deuxièmement, il existe des algorithmes alternatifs, comme TrueSkill, qui peuvent nettement améliorer les résultats. Troisièmement, le choix du bon algorithme dépend de la tâche concrète et de la taille de la liste de données. À l'avenir, des algorithmes encore plus efficaces, conçus spécialement pour le tri de données avec des LLM, pourraient voir le jour. Cela ouvrirait de nouvelles possibilités pour employer les LLM dans des tâches exigeant un classement et une sélection précis.