LLM 0.37 adiciona embeddings multimodais e incorpora correções de 12 autores

As ferramentas de linha de comando para trabalhar com modelos logo esbarram no mesmo problema: cada provedor exige uma configuração própria, e os dados há muito tempo não se limitam a texto. No LLM 0.37, Simon Willison enfrenta as duas questões. A versão simplifica a conexão de APIs compatíveis com a OpenAI e permite enviar ao sistema de embeddings objetos de diferentes tipos: texto, áudio, imagens e vídeo.

Na prática, isso significa menos código especial em torno dos modelos. Se uma equipe armazena transcrições de chamadas, fotos de produtos e vídeos de treinamento, ela não precisa mais fingir de antemão que tudo isso é o mesmo tipo de conteúdo. Cada objeto pode receber seu próprio content type, e um modelo multimodal adequado pode gerar a representação vetorial dele.

Uma interface para diferentes provedores

O novo comando llm openai endpoint add destina-se a serviços que reproduzem o formato da API da OpenAI. Antes, o desenvolvedor tinha de lidar manualmente com a configuração de um modelo adicional. Agora a conexão foi transferida para um comando próprio da CLI.

Um cenário simples é este: a equipe tem um gateway interno ou um provedor externo com API compatível com a OpenAI. O desenvolvedor adiciona o endpoint, informa o modelo disponível e depois o chama pela interface habitual do LLM. Isso é especialmente útil para protótipos e ferramentas internas, nos quais os modelos precisam ser trocados ou comparados com frequência.

A versão também adiciona suporte a gpt-6.1-sol e gpt-6.1-terra. O modelo padrão para usuários que não escolheram o seu passou a ser o gpt-6-luna. Segundo Willison, ele custa metade do preço do modelo padrão anterior, o gpt-5.6-luna. Para instalações existentes com um modelo definido explicitamente, essa mudança não altera nada.

Embeddings deixaram de ser apenas de texto

A principal mudança arquitetural é o suporte a diferentes tipos de conteúdo binário na geração de embeddings. Isso é necessário para modelos como o Gemini Embedding 2, capazes de trabalhar não só com texto, mas também com áudio, imagens e vídeo.

Imagine uma busca em uma base de conhecimento de suporte. O usuário digita uma pergunta em texto, mas a resposta certa pode estar em um manual, em uma captura de tela da interface, na gravação de uma conversa ou em um trecho de vídeo. Os embeddings multimodais permitem colocar esses materiais em um espaço de busca comum. O próprio LLM 0.37 não constrói um sistema de busca pronto, mas remove uma barreira incômoda: a biblioteca não exige mais tratar todos os objetos de entrada como iguais.

Aqui é importante verificar os recursos do provedor escolhido. O suporte a um formato na biblioteca não significa que qualquer modelo conectado saiba processar os quatro tipos de dados. Limitações de tamanho de arquivo, custo, formatos e qualidade da busca também continuam por conta do modelo específico.

Pull requests de IA como relatórios de bug detalhados

À parte, Willison descreveu sua experiência com contribuições assistidas por IA em um projeto de código aberto. A versão inclui correções de 12 autores, e quase todas foram criadas com ajuda de IA. Em vez de confiar automaticamente em patches prontos, o autor usou o Opus 5.5 ou o GPT-6 Astra para uma análise inicial das propostas.

A ideia útil aqui não é que o código de IA possa ser aceito sem verificação. Willison encara esse pull request como um relatório de bug acompanhado de um exemplo reproduzível e de uma possível solução. Às vezes o patch serve; outras vezes, é mais fácil corrigir o problema de novo. Esse processo reduz o custo da triagem inicial, mas a responsabilidade pela arquitetura e pelo código final continua com o mantenedor do projeto.

Conclusão prática: equipes que alternam entre provedores ou constroem busca sobre dados mistos devem experimentar o LLM 0.37. E, para donos de repositórios abertos, a própria abordagem editorial é útil: separar o valor do problema encontrado da qualidade do patch de IA enviado e avaliá-los de forma independente.