LangSmith ya permite comparar LLM open source ajustados con evaluación automática

LangChain ha publicado una guía para probar y comparar modelos de lenguaje open source con fine-tuning en LangSmith, una plataforma para evaluar, monitorizar y depurar aplicaciones basadas en LLM. La guía describe cómo ejecutar varios modelos ajustados en paralelo, automatizar la evaluación de los resultados y elegir con datos la mejor variante para el despliegue.

Por qué probar los modelos con fine-tuning

El fine-tuning consiste en adaptar un modelo base con datos especializados. En 2025, los equipos ajustan activamente Llama, Mistral, Falcon, Phi y otros modelos open source para tareas concretas: búsqueda corporativa, generación de código, clasificación de solicitudes de clientes y respuestas en un ámbito temático reducido.

El problema es que el resultado del ajuste no está garantizado. El modelo puede sobreajustarse a los ejemplos de entrenamiento y perder competencia general. Puede que no supere al modelo original con un buen prompt de sistema. Y dos ejecuciones con los mismos datos pero con distintos hiperparámetros pueden dar una calidad radicalmente distinta, algo imposible de saber sin pruebas.

A esto se suma que entrenar un modelo lleva horas y cuesta decenas o cientos de dólares. Sin un sistema de evaluación, los equipos adivinan el ganador o gastan los mismos recursos en revisar respuestas a mano. LangSmith ofrece una tercera vía.

Qué puede hacer LangSmith

La plataforma organiza las pruebas en un único flujo:

• Conjuntos de datos: se sube un conjunto de ejemplos de prueba con consultas y respuestas de referencia
• Ejecuciones en paralelo: varios modelos se ejecutan a la vez sobre el mismo conjunto de datos
• Evaluación automática: un LLM como juez o una función de métrica personalizada, como precisión, F1, cumplimiento del formato u otros indicadores no estándar
• Informe comparativo: una tabla única con los resultados de todas las métricas
• Trazabilidad: para cada llamada se ven los datos de entrada, la salida del modelo y la puntuación obtenida

Además de la comparación directa «modelo A frente a modelo B», LangSmith permite comparar distintos checkpoints de un mismo entrenamiento, distintas versiones del conjunto de datos de entrenamiento y distintas estrategias de fine-tuning dentro de un mismo experimento.

Ejemplo: tres checkpoints sobre un mismo conjunto de datos

Un escenario típico: un equipo ajusta Llama 3.1 8B con preguntas frecuentes corporativas en tres variantes, con distinto número de épocas y de learning rate. En LangSmith se crea un conjunto de datos con 200 preguntas reales de usuarios. Las tres versiones se ejecutan en paralelo y un LLM como juez puntúa cada respuesta en una escala de 1-5. La tabla final muestra de inmediato qué checkpoint ofrece la mejor calidad con una velocidad de respuesta aceptable.

Sin LangSmith, este proceso exige scripts a medida para cada ejecución y la consolidación manual de los resultados.

La trazabilidad integrada aporta otra ventaja: de cada respuesta «mala» se puede abrir su traza y entender qué falló exactamente. Quizá el modelo no entendió la pregunta, respondió en un formato incorrecto o el evaluador puso mal la puntuación.

Este enfoque es especialmente importante al iterar sobre el conjunto de datos de entrenamiento: ver cómo evoluciona la calidad tras cada cambio en los datos es la base de mejoras rápidas y bien fundadas.

Qué significa

El fine-tuning de modelos open source deja de ser una práctica de nicho de los investigadores de ML y pasa a ser una herramienta estándar de los equipos de producto. LangSmith cubre una laguna clave: entre el entrenamiento y el despliegue ya hay una fase de evaluación estructurada con métricas numéricas. Eso reduce el riesgo de llevar a producción una versión peor que la original y hace transparente la toma de decisiones: no «parece que es mejor», sino «aquí están las cifras».