LangChain compara GPT-4, Claude e LLMs open source na extração de dados

Em julho de 2026, a equipe da LangChain publicou o Extraction Benchmarking, uma comparação de como os modelos GPT-4, da OpenAI, os modelos da família Claude, da Anthropic, e LLMs abertos se saem na extração de dados estruturados de logs de chats.

Por que a extração de dados é uma tarefa difícil para LLMs

A extração de dados estruturados (structured data extraction) é uma das tarefas mais práticas que os LLMs executam em produção: transformar o texto não estruturado de uma conversa, de um ticket de suporte ou de um e-mail em um JSON limpo com os campos necessários, como nome, data, valor e status da solicitação. Parece simples, mas, na prática, os modelos lidam de formas diferentes com formulações ambíguas, dados ausentes e campos que precisam ser inferidos logicamente, e não copiados literalmente.

• Foram comparados o GPT-4, modelos Claude e vários LLMs abertos
• A fonte dos dados para extração são logs de chats (chat logs)
• O material traz não só os resultados, mas também a metodologia de criação do dataset de avaliação

Como os modelos são avaliados

Para uma comparação justa nesse tipo de tarefa, não basta medir a precisão da extração (se o valor do campo bate com a referência). Também importam métricas como a completude — se o modelo deixou de fora algum campo presente no texto — e a robustez de formato: se o modelo consegue retornar de forma consistente um JSON válido, sem comentários ou explicações extras. É por isso que a equipe da LangChain descreve separadamente não apenas os números finais do benchmark, mas também como o próprio dataset foi montado e com quais critérios as respostas corretas foram rotuladas.

Sem uma metodologia transparente, os números de comparação dizem pouco aos desenvolvedores que escolhem um modelo para o seu caso de uso em produção.

Tarefas de extração de dados de chats são especialmente sensíveis ao estilo coloquial: usuários reais formulam pedidos de um jeito diferente dos documentos formais em que os modelos costumam ser testados. Por isso, benchmarks feitos com logs reais de conversas oferecem um retrato mais fiel do que conjuntos de teste sintéticos, montados com exemplos perfeitamente formatados.

Por que a metodologia de criação do dataset importa

Desenvolvedores de frameworks como a LangChain recebem com frequência perguntas da comunidade sobre qual modelo escolher para um cenário específico de extração de dados — de e-mails, de tickets de suporte, de transcrições de áudio. A resposta muitas vezes depende menos da reputação geral do modelo e mais de quão bem ele lida justamente com o tipo de texto e a estrutura de campos de que o projeto precisa.

Por isso, o Extraction Benchmarking dedica atenção especial a como o dataset de avaliação foi criado: quais tipos de chat foram incluídos, como os valores de referência foram rotulados e quais casos-limite (dados ausentes, menções contraditórias, formulações ambíguas) foram deliberadamente incluídos nos exemplos de teste, para que o benchmark refletisse as dificuldades reais, e não apenas os casos simples.

Para que servem metodologias abertas como essa

Publicar não só o ranking final dos modelos, mas também a metodologia completa de montagem do dataset, resolve outro problema do setor: desenvolvedores que constroem seus próprios pipelines de extração de dados podem reaproveitar a abordagem de rotulagem e de casos-limite para avaliar seus cenários, em vez de cada equipe reinventar do zero os critérios de qualidade da extração.

O que isso significa

Para equipes que escolhem um modelo para tarefas de extração de dados — de CRM à automação de suporte —, comparações independentes como esta entre GPT-4, Claude e LLMs abertos, feitas com dados realistas, são mais úteis do que os benchmarks de marketing dos próprios fornecedores dos modelos, porque mostram o comportamento dos modelos com textos típicos, e não com textos perfeitamente lapidados.