LangSmith научился сравнивать дообученные open-source LLM с автоматической оценкой

A LangChain publicou um guia para testar e comparar modelos de linguagem open-source ajustados em LangSmith — uma plataforma para avaliar, monitorar e debugar aplicações LLM. O guia descreve como executar múltiplos modelos fine-tuned em paralelo, automatizar a avaliação de resultados e selecionar a melhor versão para deploy com base nos dados.

Por que testar modelos fine-tuned

Fine-tuning é a adaptação de um modelo base em dados especializados. Em 2025, equipes estão ativamente ajustando Llama, Mistral, Falcon, Phi e outros modelos open-source para tarefas específicas: busca corporativa, geração de código, classificação de solicitações de clientes, respostas em domínios específicos. O problema é que os resultados do fine-tuning não são garantidos.

Um modelo pode sofrer overfitting nos exemplos de treinamento e perder competência geral. Ele pode não superar o modelo original com um bom prompt de sistema. Finalmente, duas execuções de treinamento com os mesmos dados, mas com hiperparâmetros diferentes, podem produzir qualidade fundamentalmente diferente — e entender isso sem testes é impossível.

Adicione a isso o fato de que o treinamento de um modelo leva horas e custa dezenas ou centenas de dólares. Sem um sistema de avaliação, as equipes simplesmente adivinham o vencedor ou gastam tantos recursos quanto na verificação manual de respostas. LangSmith oferece um terceiro caminho.

O que LangSmith consegue fazer

A plataforma organiza testes em um pipeline unificado:

• Datasets — carregue um conjunto de exemplos de teste com consultas e respostas de referência
• Execuções paralelas — múltiplos modelos são executados no mesmo dataset simultaneamente
• Avaliação automática — LLM-judge ou função de métrica personalizada: acurácia, F1, conformidade de formato, métricas personalizadas
• Relatório comparativo — uma tabela única com resultados em todas as métricas
• Rastreamento — para cada chamada, você pode ver dados de entrada, saída do modelo e avaliação recebida

Além da comparação direta "modelo A vs modelo B", LangSmith permite comparar diferentes checkpoints de um treinamento, diferentes versões de datasets de treinamento e diferentes estratégias de fine-tuning dentro de um único experimento.

Exemplo: três checkpoints em um dataset

Um cenário típico: uma equipe ajusta Llama 3.1 8B em FAQs corporativas em três variantes — com diferentes números de épocas e taxas de aprendizado. Em LangSmith, um dataset é criado a partir de 200 perguntas reais de usuários.

As três versões são executadas em paralelo, o LLM-judge avalia cada resposta em uma escala de 1-5. A tabela resultante mostra imediatamente qual checkpoint oferece a melhor qualidade com velocidade de resposta aceitável. Sem LangSmith, esse processo requer scripts personalizados para cada execução e consolidação manual de resultados.

O rastreamento integrado adiciona outra vantagem: para cada resposta "ruim", você pode abrir seu rastreamento e entender o que deu errado — o modelo não compreendeu a pergunta, respondeu em formato incorreto ou o avaliador cometeu um erro. Essa abordagem é especialmente importante ao iterar sobre o dataset de treinamento: ver a dinâmica de qualidade após cada mudança nos dados é a base de melhorias rápidas e significativas.

O que isto significa

O fine-tuning de modelos open-source está se transformando de uma prática de nicho de pesquisadores de ML em uma ferramenta padrão para equipes de produto. LangSmith preenche uma lacuna fundamental: entre o treinamento e o deploy existe agora um estágio de avaliação estruturado com métricas numéricas. Isso reduz o risco de fazer deploy de uma versão pior que a original e torna o processo de tomada de decisão transparente — não "parece melhor", mas "aqui estão os números".