LangSmith научился сравнивать дообученные open-source LLM с автоматической оценкой

LangChain ha publicado una guía para probar y comparar modelos de lenguaje open-source ajustados en LangSmith — una plataforma para evaluar, monitorear y depurar aplicaciones LLM. La guía describe cómo ejecutar múltiples modelos fine-tuned en paralelo, automatizar la evaluación de resultados y seleccionar la mejor versión para despliegue basándose en los datos.

Por qué probar modelos fine-tuned

Fine-tuning es la adaptación de un modelo base en datos especializados. En 2025, los equipos están ajustando activamente Llama, Mistral, Falcon, Phi y otros modelos open-source para tareas específicas: búsqueda empresarial, generación de código, clasificación de solicitudes de clientes, respuestas en dominios específicos. El problema es que los resultados del fine-tuning no están garantizados.

Un modelo puede sobreajustarse a los ejemplos de entrenamiento y perder competencia general. Puede que no supere el modelo original con un buen prompt de sistema. Finalmente, dos ejecuciones de entrenamiento con los mismos datos pero con hiperparámetros diferentes pueden producir una calidad fundamentalmente diferente — y entender esto sin pruebas es imposible.

Añade a esto que el entrenamiento de un modelo lleva horas y cuesta decenas o cientos de dólares. Sin un sistema de evaluación, los equipos simplemente adivinan el ganador o gastan tantos recursos como en la verificación manual de respuestas. LangSmith ofrece una tercera opción.

Qué puede hacer LangSmith

La plataforma organiza las pruebas en un pipeline unificado:

• Datasets — carga un conjunto de ejemplos de prueba con consultas y respuestas de referencia
• Ejecuciones paralelas — múltiples modelos se ejecutan en el mismo dataset simultáneamente
• Evaluación automática — LLM-judge o función de métrica personalizada: precisión, F1, conformidad de formato, métricas personalizadas
• Informe comparativo — una tabla única con resultados en todas las métricas
• Rastreo — para cada llamada, puedes ver datos de entrada, salida del modelo y evaluación recibida

Más allá de la comparación directa "modelo A vs modelo B", LangSmith permite comparar diferentes checkpoints de un entrenamiento, diferentes versiones de datasets de entrenamiento y diferentes estrategias de fine-tuning dentro de un único experimento.

Ejemplo: tres checkpoints en un dataset

Un escenario típico: un equipo ajusta Llama 3.1 8B en FAQ corporativas en tres variantes — con diferente número de épocas y tasas de aprendizaje. En LangSmith, se crea un dataset a partir de 200 preguntas reales de usuarios.

Las tres versiones se ejecutan en paralelo, el LLM-judge evalúa cada respuesta en una escala de 1-5. La tabla resultante muestra inmediatamente qué checkpoint ofrece la mejor calidad con una velocidad de respuesta aceptable. Sin LangSmith, este proceso requiere scripts personalizados para cada ejecución y consolidación manual de resultados.

El rastreo integrado añade otra ventaja: para cada respuesta "mala", puedes abrir su rastreo y entender qué salió mal — el modelo no entendió la pregunta, respondió en formato incorrecto o el evaluador cometió un error. Este enfoque es especialmente importante al iterar sobre el dataset de entrenamiento: ver la dinámica de calidad después de cada cambio en los datos es la base de mejoras rápidas y significativas.

Qué significa esto

El fine-tuning de modelos open-source se está transformando de una práctica de nicho de investigadores de ML en una herramienta estándar para equipos de producto. LangSmith cierra una brecha clave: entre el entrenamiento y el despliegue ahora existe una etapa de evaluación estructurada con métricas numéricas. Esto reduce el riesgo de desplegar una versión peor que la original y hace el proceso de toma de decisiones transparente — no "parece mejor", sino "aquí están los números".