Simon Willison Lanza llm 0.31.1 con Corrección de Bug de Llamada de Herramienta

El desarrollador Simon Willison lanzó la versión 0.31.1 de su herramienta de código abierto llm — una utilidad de línea de comandos y librería de Python para trabajar con grandes modelos de lenguaje a través de la terminal.

Qué exactamente se corrigió

El parche elimina un bug en los endpoints de OpenAI Chat Completion: cuando un modelo invocaba una llamada de herramienta (tool call) con argumentos vacíos, algunos proveedores respondían con un error de formato JSON en lugar de un resultado correcto. El error fue registrado en el issue #1521 del repositorio del proyecto en GitHub.

Cómo se encontró el bug

Willison descubrió el problema mientras probaba otro de sus proyectos — el plugin llm-meta-ai, que añade soporte para modelos Meta a llm. La herramienta llm está diseñada como un sistema de plugins: la CLI básica puede extenderse con soporte para nuevos proveedores y modelos sin cambiar el núcleo, por lo que los bugs en la lógica básica de invocación de herramientas afectan a todos los plugins conectados a la vez.

El autor del proyecto también es conocido como creador de Datasette — una herramienta abierta para publicar y explorar datos, por lo que su trabajo en herramientas LLM ha sido de interés para la comunidad de desarrolladores durante mucho tiempo.

Lo que esto significa

Incluso las pequeñas herramientas CLI para trabajar con LLMs dependen cada vez más de la confiabilidad del mecanismo de llamada de herramientas — invocar funciones externas por el modelo. Los errores de formato JSON en tales cadenas pueden romper tuberías automatizadas completas, por lo que estos parches dirigidos son importantes para los desarrolladores que construyen agentes sobre APIs de terceros.