Por que os modelos de linguagem estragam a estrutura do documento quando você confia a edição a eles

Editar documentos com um modelo de linguagem parece a solução óbvia: você cola o texto, dá uma instrução e recebe o resultado sem horas de trabalho manual. Na prática, o documento devolvido costuma ser outro: com títulos deslocados, parágrafos perdidos ou trechos reformulados que ninguém pediu para alterar. Em vez de edição, a estrutura se degrada sem alarde.

Geração versus edição

A contradição central está na própria arquitetura dos transformers. Os modelos de linguagem são treinados para prever o próximo token com base no contexto; eles não "editam" como faz um processador de texto. Quando o modelo recebe a instrução "corrija a gramática da terceira seção", ele não aplica uma regra pontual a linhas específicas: gera o que, na opinião dele, o texto atualizado deveria ser como um todo. Para um LLM, o limite de "edite só isto" é fundamentalmente difuso: o modelo avalia todo o contexto e gera uma nova versão, em vez de aplicar alterações atômicas. Isso fica mais evidente em documentos grandes: quanto mais "material", maior o desvio em relação ao original.

O fenômeno do perdido no meio

Mesmo modelos com janela de contexto de 200k tokens enfrentam problemas estruturais com documentos longos. Estudos registram de forma consistente o efeito "lost in the middle": os modelos retêm bem a informação do início e do fim do contexto, mas perdem sistematicamente os detalhes do meio. Quanto mais longo o documento, mais forte o efeito. Em arquivos reais, isso significa que os elementos estruturais das seções intermediárias são os mais propensos a sofrer distorção.

Vítimas típicas:

• Listas aninhadas: os níveis de aninhamento são achatados em um só
• Tabelas: perdem o alinhamento das colunas ou viram prosa
• Referências cruzadas: viram texto comum, sem âncoras
• Front matter em YAML e tags personalizadas: são removidos como "lixo desnecessário"
• Numeração de seções: se desorganiza após qualquer inserção ou remoção de conteúdo

Formatação como tokens sem semântica

Markdown, HTML, LaTeX: o modelo enxerga tudo como tokens comuns, não como sintaxe com regras. Para a rede neural, os símbolos `##` são apenas dois jogos da velha, e não "um título de segundo nível coerente com o sumário". Os padrões de formatação são reproduzidos por analogia estatística com os dados de treinamento, não por regras sintáticas explícitas.

O resultado é previsível: recuos inconsistentes, níveis de título trocados, âncoras de links quebradas, alternância aleatória entre formatos dentro do mesmo documento. Cada uma dessas falhas passa despercebida isoladamente, mas, somadas, tornam o documento inadequado para processamento automático ou publicação.

"O modelo não entende o seu documento: ele entende a distribuição de

probabilidades do próximo token no contexto dele".

Disputa entre instrução e padrões

Outro fator é a disputa entre a instrução explícita do usuário e os padrões estatísticos absorvidos no treinamento. Se o Markdown padrão predominava nos dados de treinamento, o modelo tenderá a ele mesmo contra uma proibição explícita. Um modelo corporativo fora do padrão, a marcação específica de normas técnicas, um estilo estrutural autoral: tudo isso é vulnerável à "memória" do corpus de treinamento.

Além disso, instruções longas vão se "diluindo" ao longo da geração. Perto do fim de um documento grande, a atenção às restrições do prompt original diminui, e o desvio estrutural cresce.

O que isso significa

A conclusão prática é direta: os LLMs se saem melhor em tarefas pontuais do que na edição completa de um documento inteiro em uma única passada. Para arquivos estruturados complexos, como especificações técnicas, contratos jurídicos e artigos acadêmicos com referências cruzadas, vale dividir o documento em seções isoladas e trabalhar com cada uma separadamente. As instruções devem ser o mais explícitas possível: "altere só este parágrafo, não mexa no resto". Depois de qualquer edição feita por LLM, é preciso verificar explicitamente os elementos estruturais, porque são eles os primeiros a sofrer.