LangChain compara GPT-4, Claude y LLM de código abierto en extracción de datos

En julio de 2026, el equipo de LangChain publicó Extraction Benchmarking, un análisis que compara cómo se desenvuelven GPT-4 de OpenAI, los modelos de la familia Claude de Anthropic y varios LLM abiertos al extraer datos estructurados de registros de chat.

Por qué la extracción de datos es una tarea difícil para los LLM

La extracción de datos estructurados (structured data extraction) es una de las tareas más prácticas que resuelven los LLM en producción: convertir el texto no estructurado de una conversación, un ticket de soporte o un correo electrónico en un JSON limpio con los campos necesarios, como nombre, fecha, importe o estado de la solicitud. Parece sencillo, pero en la práctica los modelos responden de forma desigual ante formulaciones ambiguas, datos que faltan y campos que hay que deducir lógicamente en lugar de copiarlos literalmente.

• Se compararon GPT-4, los modelos Claude y varios LLM abiertos
• La fuente de los datos para la extracción son registros de chat (chat logs)
• El trabajo incluye no solo los resultados, sino también la metodología para crear el conjunto de datos de evaluación

Cómo se evalúan los modelos

Para comparar modelos de forma justa en esta tarea, no basta con medir la precisión de la extracción (si el valor del campo coincide con la referencia). También importan métricas como la exhaustividad —si el modelo omitió algún campo presente en el texto— y la robustez de formato: si el modelo es capaz de devolver de forma estable un JSON válido, sin comentarios ni explicaciones de más. Por eso el equipo de LangChain describe por separado no solo las cifras finales del benchmark, sino también cómo se construyó el conjunto de datos y con qué criterios se etiquetaron las respuestas correctas.

Sin una metodología transparente, las cifras comparativas dicen poco a los desarrolladores que eligen un modelo para su caso de uso en producción.

Las tareas de extracción de datos a partir de chats son especialmente sensibles al estilo conversacional. Los usuarios reales formulan sus peticiones de forma distinta a los documentos formales con los que suelen probarse los modelos. Por eso, los benchmarks basados en registros reales de conversaciones ofrecen una imagen más fiel que los conjuntos de prueba sintéticos compuestos por ejemplos perfectamente redactados.

Por qué importa la metodología de creación del conjunto de datos

Los desarrolladores de frameworks como LangChain reciben con frecuencia preguntas de la comunidad sobre qué modelo elegir para un escenario concreto de extracción de datos: correos electrónicos, tickets de soporte o transcripciones de voz. La respuesta suele depender menos de la reputación general del modelo que de lo bien que maneje justo el tipo de texto y la estructura de campos que necesita el proyecto.

Por eso, Extraction Benchmarking dedica especial atención a cómo se creó el conjunto de datos de evaluación: qué tipos de chats incluye, cómo se etiquetaron los valores de referencia y qué casos límite (datos ausentes, menciones contradictorias, formulaciones ambiguas) se incorporaron deliberadamente en los ejemplos de prueba para que el benchmark reflejara las dificultades reales y no solo los casos sencillos.

Para qué sirven estas metodologías abiertas

Publicar no solo la clasificación final de los modelos, sino también la metodología completa de construcción del conjunto de datos, resuelve otro problema del sector: los desarrolladores que crean sus propios pipelines de extracción de datos pueden reutilizar el enfoque de etiquetado y de casos límite para evaluar sus escenarios, en lugar de que cada equipo tenga que reinventar desde cero los criterios de calidad de la extracción.

Qué significa esto

Para los equipos que eligen un modelo para tareas de extracción de datos, desde CRM hasta la automatización del soporte, este tipo de comparativas independientes entre GPT-4, Claude y LLM abiertos con datos realistas resultan más útiles que los benchmarks de marketing de los propios fabricantes, porque muestran cómo se comportan los modelos con texto típico y no con texto perfectamente pulido.