Simon Willison publie llm 0.31.1 et corrige un bug dans les appels d'outils

Le développeur Simon Willison a publié la version 0.31.1 de llm, son outil open source : un utilitaire en ligne de commande et une bibliothèque Python pour travailler avec de grands modèles de langage depuis le terminal.

Ce qui a été corrigé

Le correctif résout un bug dans la gestion des endpoints OpenAI Chat Completion : lorsque le modèle appelait un outil (tool call) avec des arguments vides, certains fournisseurs renvoyaient une erreur de format JSON au lieu d'un résultat valide. L'erreur est référencée dans l'issue #1521 du dépôt GitHub du projet.

Comment le bug a été découvert

Willison a repéré le problème en testant un autre de ses projets, le plugin llm-meta-ai, qui ajoute à llm la prise en charge des modèles de Meta. llm repose sur un système de plugins : la CLI de base peut être étendue à de nouveaux fournisseurs et modèles sans toucher au cœur, si bien que les bugs dans la logique de base des appels d'outils touchent d'un coup tous les plugins installés.

L'auteur du projet est aussi connu comme le créateur de Datasette, un outil open source de publication et d'exploration de données, et ses travaux sur l'outillage LLM retiennent depuis longtemps l'attention de la communauté des développeurs.

Ce que cela signifie

Même les petits outils CLI dédiés aux LLM s'appuient de plus en plus sur la fiabilité du tool calling, le mécanisme par lequel un modèle appelle des fonctions externes. Des erreurs de format JSON dans ces chaînes peuvent casser des pipelines automatisés entiers : des correctifs ciblés comme celui-ci comptent donc pour les développeurs qui construisent des agents sur des API tierces.