LangSmith agora compara LLMs open source ajustados com avaliação automática

A LangChain publicou um guia para testar e comparar modelos de linguagem open source com fine-tuning no LangSmith, plataforma de avaliação, monitoramento e depuração de aplicações com LLMs. O guia descreve como executar vários modelos ajustados em paralelo, automatizar a avaliação dos resultados e escolher, com base em dados, a melhor variante para o deploy.

Por que testar modelos com fine-tuning

Fine-tuning é o ajuste de um modelo base com dados especializados. Em 2025, as equipes estão ajustando ativamente Llama, Mistral, Falcon, Phi e outros modelos open source para tarefas específicas: busca corporativa, geração de código, classificação de solicitações de clientes e respostas em áreas temáticas restritas.

O problema é que o resultado do ajuste não é garantido. O modelo pode sofrer overfitting nos exemplos de treino e perder competência geral. Pode não superar o modelo original com um bom prompt de sistema. E duas execuções com os mesmos dados, mas com hiperparâmetros diferentes, podem render qualidade radicalmente distinta, algo impossível de saber sem testes.

Soma-se a isso que treinar um modelo leva horas e custa dezenas ou centenas de dólares. Sem um sistema de avaliação, as equipes chutam o vencedor ou gastam a mesma quantidade de recursos conferindo respostas manualmente. O LangSmith oferece um terceiro caminho.

O que o LangSmith faz

A plataforma organiza os testes em um pipeline único:

• Datasets: envie um conjunto de exemplos de teste com consultas e respostas de referência
• Execuções paralelas: vários modelos rodam ao mesmo tempo no mesmo dataset
• Avaliação automática: um LLM como juiz ou uma função de métrica personalizada, como precisão, F1, conformidade de formato e indicadores fora do padrão
• Relatório comparativo: uma tabela única com os resultados de todas as métricas
• Rastreamento: para cada chamada, é possível ver os dados de entrada, a saída do modelo e a nota recebida

Além da comparação direta "modelo A vs. modelo B", o LangSmith permite comparar diferentes checkpoints de um mesmo treinamento, diferentes versões do dataset de treino e diferentes estratégias de fine-tuning dentro de um único experimento.

Exemplo: três checkpoints no mesmo dataset

Um cenário típico: a equipe ajusta o Llama 3.1 8B com FAQs corporativos em três variantes, com números diferentes de épocas e de learning rate. No LangSmith, cria-se um dataset com 200 perguntas reais de usuários. As três versões rodam em paralelo, e um LLM como juiz avalia cada resposta em uma escala de 1-5. A tabela final mostra de imediato qual checkpoint entrega a melhor qualidade com uma velocidade de resposta aceitável.

Sem o LangSmith, esse processo exige scripts personalizados para cada execução e a consolidação manual dos resultados.

O rastreamento integrado traz mais uma vantagem: para cada resposta "ruim", dá para abrir o trace e entender o que deu errado. Talvez o modelo não tenha entendido a pergunta, tenha respondido no formato errado ou o avaliador tenha atribuído a nota por engano.

Essa abordagem é especialmente importante ao iterar sobre o dataset de treino: ver a evolução da qualidade após cada mudança nos dados é a base de melhorias rápidas e conscientes.

O que isso significa

O fine-tuning de modelos open source deixa de ser uma prática de nicho de pesquisadores de ML e se torna uma ferramenta padrão das equipes de produto. O LangSmith preenche uma lacuna importante: entre o treinamento e o deploy agora existe uma etapa estruturada de avaliação com métricas numéricas. Isso reduz o risco de colocar em produção uma versão pior que a original e torna a tomada de decisão transparente: não "parece que é melhor", mas "aqui estão os números".