Simon Willison Lança llm 0.31.1 com Correção de Bug de Chamada de Ferramenta

O desenvolvedor Simon Willison lançou a versão 0.31.1 de sua ferramenta de código aberto llm — um utilitário de linha de comando e biblioteca Python para trabalhar com grandes modelos de linguagem através do terminal.

O que exatamente foi corrigido

O patch elimina um bug nos endpoints de OpenAI Chat Completion: quando um modelo invocava uma chamada de ferramenta (tool call) com argumentos vazios, alguns provedores respondiam com um erro de formato JSON em vez de um resultado correto. O erro foi registrado na issue #1521 do repositório do projeto no GitHub.

Como o bug foi encontrado

Willison descobriu o problema ao testar outro de seus projetos — o plugin llm-meta-ai, que adiciona suporte para modelos Meta ao llm. A ferramenta llm é projetada como um sistema de plugins: a CLI básica pode ser estendida com suporte para novos provedores e modelos sem alterar o núcleo, então bugs na lógica básica de invocação de ferramentas afetam todos os plugins conectados de uma vez.

O autor do projeto também é conhecido como criador do Datasette — uma ferramenta aberta para publicar e explorar dados, portanto seu trabalho em ferramentas LLM tem sido de interesse para a comunidade de desenvolvedores há muito tempo.

O que isso significa

Até pequenas ferramentas CLI para trabalhar com LLMs dependem cada vez mais da confiabilidade do mecanismo de chamada de ferramentas — invocar funções externas pelo modelo. Erros de formato JSON em tais cadeias podem quebrar pipelines automatizados inteiros, então esses patches direcionados são importantes para desenvolvedores que constroem agentes sobre APIs de terceiros.