Why language models break document structure when you trust them with editing

Редактирование документов с помощью языковой модели выглядит как очевидное решение: вставил текст, дал инструкцию, получил результат без часов ручной работы. На практике же возвращённый документ нередко оказывается другим — со сдвинутыми заголовками, потерянными абзацами или переформулированными фрагментами, которых никто не просил трогать. Вместо редактирования происходит незаметная деградация структуры.

Генерация против редактирования Ключевое противоречие кроется в самой архитектуре трансформеров.

Языковые модели обучены предсказывать следующий токен на основе контекста — они не «редактируют» в том смысле, в каком это делает текстовый процессор. Когда модель получает инструкцию «исправь грамматику в третьем разделе», она не применяет точечное правило к строкам — она генерирует то, каким, по её мнению, должен быть обновлённый текст целиком. Граница «редактируй только это» для LLM принципиально размыта: модель оценивает весь контекст и генерирует новую версию, а не применяет атомарные правки. Особенно это заметно на больших документах — чем больше «материала», тем сильнее дрейф от исходника.

Феномен потерянного в середине

Даже у моделей с контекстным окном в 200k токенов длинные документы создают структурные проблемы. Исследования стабильно фиксируют эффект «lost in the middle»: модели хорошо удерживают информацию из начала и конца контекста, но систематически теряют детали из его середины. Чем длиннее документ — тем сильнее эффект. Для реальных файлов это означает, что структурные элементы в средних разделах исказятся с наибольшей вероятностью. Типичные жертвы: Вложенные списки — уровни вложенности сглаживаются до одного Таблицы — теряют выравнивание столбцов или конвертируются в прозу Перекрёстные ссылки — превращаются в обычный текст без якорей YAML-фронтматтер и кастомные теги — удаляются как «лишний мусор»

• Нумерация разделов — сбивается после любой вставки или удаления контента ## Форматирование как токены без семантики Markdown, HTML, LaTeX — всё это модель видит как обычные токены, а не как синтаксис с правилами. Для нейросети символы `##` означают просто два знака решётки, а не «заголовок второго уровня, согласованный с оглавлением». Паттерны форматирования воспроизводятся по статистической аналогии с обучающими данными, а не по явным синтаксическим правилам. Результат предсказуем: непоследовательные отступы, перепутанные уровни заголовков, сломанные якоря ссылок, случайное переключение между форматами в одном документе. Каждое из этих нарушений само по себе незаметно, но в сумме они делают документ непригодным для автоматической обработки или публикации.

«Модель не понимает вашего документа — она понимает распределение

вероятностей следующего токена в его контексте».

Конкуренция инструкции и паттернов

Дополнительный фактор — конкуренция между явной инструкцией пользователя и статистическими паттернами, усвоенными при обучении. Если в обучающих данных преобладал стандартный Markdown, модель будет тяготеть к нему даже вопреки явному запрету. Нестандартный корпоративный шаблон, специфичная разметка технических стандартов, авторский структурный стиль — всё это уязвимо перед «памятью» обучающего корпуса. Кроме того, длинные инструкции «размываются» по мере генерации. К концу большого документа внимание к ограничениям из исходного промпта ослабевает — и структурный дрейф нарастает.

Что это значит

Для практической работы вывод прямолинеен: LLM лучше справляются с точечными задачами, чем с комплексным редактированием целого документа за один проход. Для сложных структурированных файлов — технических спецификаций, юридических договоров, академических статей с перекрёстными ссылками — стоит разбивать документ на изолированные секции и работать с каждой отдельно. Инструкции должны быть максимально явными: «измени только этот абзац, остальное не трогай». После любого LLM-редактирования требуется явная проверка структурных элементов — именно они страдают первыми.