Pesquisa da Microsoft mostrou o perigo de delegar processamento de documentos a LLMs

A Microsoft Research publicou explicações detalhadas sobre a pesquisa "LLMs Corrupt Your Documents When You Delegate", que vem sendo ativamente discutida na comunidade profissional. A equipe quer esclarecer o que exatamente seu trabalho prova — e onde surgem frequentemente interpretações incorretas ou excessivamente categóricas.

O que o estudo investigou

O trabalho é dedicado à confiabilidade de modelos de linguagem em cenários onde você delega a eles o processamento de documentos como parte de um processo de trabalho mais longo. Por exemplo, automatização de processamento de contratos recebidos, preparação de relatórios com base em dados originais ou roteamento de documentos. A observação principal é que o modelo pode distorcer informações sutilmente. Isso não ocorre apenas porque o LLM erra, mas também porque frequentemente "melhora" o texto por conta própria — corrige a gramática, reformula frases, mesmo quando não foi explicitamente solicitado.

Em cada etapa de uma longa cadeia, a informação pode ser ligeiramente alterada, e no final o resultado pode ser notavelmente diferente dos dados originais. O estudo desenvolveu métodos para avaliar essa confiabilidade — ferramentas que permitem medir como o sistema mantém a precisão em uma cadeia de operações. Esses métodos são criticamente importantes, porque sem eles as empresas simplesmente não sabem o quão arriscado é usar LLM em processos críticos.

O que frequentemente é interpretado incorretamente

A Microsoft destaca vários pontos que críticos frequentemente distorcem ao discutir:

• O estudo não é uma sentença para todos os LLMs. A questão não é que modelos de linguagem sejam completamente não confiáveis. Trata-se de um risco específico em cenários de delegação de longo prazo envolvendo documentos.

• Não é uma afirmação de "irreparabilidade". O estudo aponta um problema, mas não afirma que não pode ser resolvido. Existem abordagens arquiteturais para reduzir o risco.

• O principal é a metodologia de avaliação. O objetivo do trabalho é fornecer ferramentas para medir confiabilidade, não apenas detectar um erro em um modelo.

Alguns críticos interpretam os resultados como uma proibição completa do uso de LLM em produção. Isso é demasiado categórico e não corresponde às conclusões do próprio estudo.

O que os desenvolvedores devem fazer

Para aqueles que implementam LLM em fluxos de trabalho com documentos, a conclusão é prática: são necessários mecanismos de controle. Você pode:

• Validar periodicamente resultados intermediários — não confiar em uma única passagem do modelo
• Realizar revisão humana de etapas críticas do processo
• Registrar todas as alterações que o modelo fez para ver o que foi modificado
• Comparar o resultado final com os dados originais no final da cadeia

As empresas que já usam LLM para processar contratos, relatórios ou outros documentos críticos devem avaliar se possuem esses mecanismos. Se não os tiverem — essa é uma zona de risco.

O que isso significa

O estudo da Microsoft não é um sinal de pânico, mas um apelo científico à responsabilidade de engenharia. Modelos de linguagem podem trabalhar com documentos e delegar partes do processamento, mas isso requer uma arquitetura que preveja verificação em cada etapa-chave. Para a indústria, isso significa que a confiabilidade de sistemas de IA de longo prazo não é uma questão teórica, mas uma tarefa de engenharia que não pode ser ignorada.