Simon Willison lança llm 0.31.1 com correção de bug em chamadas de ferramentas

O desenvolvedor Simon Willison lançou a versão 0.31.1 do llm, sua ferramenta de código aberto: um utilitário de console e biblioteca Python para trabalhar com grandes modelos de linguagem pelo terminal.

O que foi corrigido

O patch corrige um bug no uso de endpoints OpenAI Chat Completion: se o modelo chamava uma ferramenta (tool call) com argumentos vazios, alguns provedores respondiam com um erro de formato JSON em vez de um resultado correto. O erro está registrado na issue #1521 do repositório do projeto no GitHub.

Como o bug foi encontrado

Willison descobriu o problema ao testar outro projeto seu, o plugin llm-meta-ai, que adiciona ao llm suporte a modelos da Meta. O llm é construído como um sistema de plugins: a CLI base pode ser estendida com novos provedores e modelos sem alterar o núcleo, então bugs na lógica básica de chamada de ferramentas afetam todos os plugins instalados.

O autor do projeto também é conhecido como criador do Datasette, ferramenta de código aberto para publicar e explorar dados, e seu trabalho com ferramentas para LLMs há tempos chama a atenção da comunidade de desenvolvedores.

O que isso significa

Mesmo pequenas ferramentas CLI para trabalhar com LLMs dependem cada vez mais da confiabilidade do tool calling, o mecanismo pelo qual o modelo chama funções externas. Erros de formato JSON nessas cadeias podem quebrar pipelines automatizados inteiros, por isso patches pontuais como este importam para quem constrói agentes sobre APIs de terceiros.