Simon Willison lanza llm 0.31.1 con la corrección de un fallo en las llamadas a herramientas

El desarrollador Simon Willison ha publicado la versión 0.31.1 de llm, su herramienta de código abierto: una utilidad de consola y biblioteca de Python para trabajar con grandes modelos de lenguaje desde la terminal.

Qué se ha corregido

El parche soluciona un fallo en el trabajo con los endpoints de OpenAI Chat Completion: si el modelo llamaba a una herramienta (tool call) con argumentos vacíos, algunos proveedores respondían con un error de formato JSON en lugar de un resultado correcto. El error está registrado en el issue #1521 del repositorio del proyecto en GitHub.

Cómo se encontró el fallo

Willison detectó el problema al probar otro de sus proyectos, el plugin llm-meta-ai, que añade a llm compatibilidad con modelos de Meta. llm está diseñado como un sistema de plugins: la CLI base puede ampliarse con nuevos proveedores y modelos sin modificar el núcleo, de modo que los fallos en la lógica básica de llamada a herramientas afectan a todos los plugins instalados.

El autor del proyecto es también conocido como creador de Datasette, una herramienta de código abierto para publicar y explorar datos, y su trabajo en herramientas para LLM lleva tiempo captando la atención de la comunidad de desarrolladores.

Qué significa

Incluso las herramientas CLI pequeñas para trabajar con LLM dependen cada vez más de la fiabilidad del tool calling, el mecanismo mediante el cual un modelo llama a funciones externas. Los errores de formato JSON en estas cadenas pueden romper pipelines automatizados enteros, por lo que parches puntuales como este importan a quienes construyen agentes sobre API de terceros.