Simon Willison выпустил llm 0.31.1 с фиксом бага в вызовах инструментов

Разработчик Simon Willison выпустил версию 0.31.1 своего open-source инструмента llm — консольной утилиты и Python-библиотеки для работы с большими языковыми моделями через терминал.

Что именно исправили

Патч устраняет баг в работе с эндпоинтами OpenAI Chat Completion: если модель вызывала инструмент (tool call) с пустыми аргументами, некоторые провайдеры отвечали ошибкой формата JSON вместо корректного результата. Ошибка зафиксирована в issue #1521 репозитория проекта на GitHub.

Как нашли баг

Willison обнаружил проблему при тестировании другого своего проекта — плагина llm-meta-ai, который добавляет в llm поддержку моделей Meta. Инструмент llm устроен как плагинная система: базовый CLI можно расширять поддержкой новых провайдеров и моделей без изменения ядра, поэтому баги в базовой логике вызова инструментов затрагивают сразу все подключённые плагины.

Автор проекта также известен как создатель Datasette — открытого инструмента для публикации и исследования данных, поэтому его наработки в сфере LLM-тулинга давно пользуются вниманием сообщества разработчиков.

Что это значит

Даже небольшие CLI-инструменты для работы с LLM всё больше опираются на надёжность механизма tool calling — вызова внешних функций моделью. Ошибки формата JSON в таких цепочках могут ломать целые автоматизированные пайплайны, поэтому подобные точечные патчи важны для разработчиков, которые строят агентов поверх сторонних API.