LLM 0.37 añade embeddings multimodales e incorpora correcciones de 12 autores

Las herramientas de línea de comandos para trabajar con modelos se topan rápidamente con el mismo problema: cada proveedor exige una configuración distinta, y los datos hace tiempo que no se limitan al texto. En LLM 0.37, Simon Willison aborda ambas cuestiones. La versión simplifica la conexión de API compatibles con OpenAI y permite pasar al sistema de embeddings objetos de distintos tipos: texto, audio, imágenes y vídeo.

En la práctica, esto significa menos código específico alrededor de los modelos. Si un equipo almacena transcripciones de llamadas, fotografías de productos y vídeos de formación, ya no tiene que fingir de antemano que todo es el mismo tipo de contenido. Cada objeto puede recibir su propio content type, y un modelo multimodal adecuado puede generar para él su representación vectorial.

Una interfaz para distintos proveedores

El nuevo comando llm openai endpoint add está pensado para servicios que replican el formato de la API de OpenAI. Antes, el desarrollador tenía que lidiar a mano con la configuración de un modelo adicional. Ahora la conexión se ha trasladado a un comando propio de la CLI.

Un escenario sencillo sería este: un equipo dispone de una pasarela interna o de un proveedor externo con una API compatible con OpenAI. El desarrollador añade su endpoint, indica el modelo disponible y después lo invoca mediante la interfaz habitual de LLM. Resulta especialmente cómodo para prototipos y herramientas internas, donde los modelos se cambian o comparan con frecuencia.

La versión también incorpora compatibilidad con gpt-6.1-sol y gpt-6.1-terra. El modelo predeterminado para los usuarios que no han elegido uno propio es ahora gpt-6-luna. Según Willison, cuesta la mitad que el anterior modelo predeterminado, gpt-5.6-luna. En las instalaciones existentes con un modelo definido explícitamente, este cambio no altera nada.

Los embeddings dejan de ser solo de texto

El principal cambio arquitectónico es la compatibilidad con distintos tipos de contenido binario al generar embeddings. Es necesario para modelos como Gemini Embedding 2, capaces de trabajar no solo con texto, sino también con audio, imágenes y vídeo.

Imaginemos una búsqueda en una base de conocimiento de soporte. El usuario escribe una pregunta de texto, pero la respuesta adecuada puede estar en un manual, en una captura de pantalla de la interfaz, en la grabación de una conversación o en un fragmento de vídeo. Los embeddings multimodales permiten situar estos materiales en un espacio de búsqueda común. LLM 0.37 no construye por sí mismo un sistema de búsqueda completo, pero elimina una barrera molesta: la biblioteca ya no obliga a considerar idénticos todos los objetos de entrada.

Aquí es importante comprobar las capacidades del proveedor elegido. Que la biblioteca admita un formato no significa que cualquier modelo conectado sepa procesar los cuatro tipos de datos. Las limitaciones de tamaño de archivo, coste, formatos y calidad de búsqueda también dependen del modelo concreto.

Pull requests de IA como informes de error detallados

Por separado, Willison describió su experiencia con contribuciones asistidas por IA a un proyecto de código abierto. La versión incluye correcciones de 12 autores, y casi todas se crearon con ayuda de IA. En lugar de confiar automáticamente en los parches ya hechos, el autor utilizó Opus 5.5 o GPT-6 Astra para un análisis inicial de las propuestas.

La idea útil no es que el código de IA pueda aceptarse sin revisión. Willison ve ese pull request como un informe de error al que se adjunta un ejemplo reproducible y una posible solución. A veces el parche sirve; otras, es más sencillo corregir el problema de nuevo. Este proceso reduce el coste de la clasificación inicial, pero la responsabilidad sobre la arquitectura y el código final sigue recayendo en el responsable del proyecto.

Conclusión práctica: los equipos que cambian entre proveedores o construyen búsquedas sobre datos mixtos deberían probar LLM 0.37. Y a los propietarios de repositorios abiertos les resulta útil el propio enfoque editorial: separar el valor del problema detectado de la calidad del parche de IA enviado y evaluarlos de forma independiente.