Por qué los modelos de lenguaje destrozan la estructura de tus documentos cuando les confías la edición

Editar documentos con un modelo de lenguaje parece la solución obvia: pegas el texto, das una instrucción y obtienes el resultado sin horas de trabajo manual. En la práctica, el documento que vuelve suele ser otro: con encabezados desplazados, párrafos perdidos o fragmentos reformulados que nadie pidió tocar. En lugar de editar, la estructura se degrada sin que nadie lo note.

Generación frente a edición

La contradicción central está en la propia arquitectura de los transformadores. Los modelos de lenguaje se entrenan para predecir el siguiente token a partir del contexto; no «editan» como lo hace un procesador de textos. Cuando el modelo recibe la instrucción «corrige la gramática de la tercera sección», no aplica una regla puntual a unas líneas concretas, sino que genera cómo cree que debería quedar el texto actualizado en su conjunto. Para un LLM, el límite de «edita solo esto» es fundamentalmente difuso: el modelo evalúa todo el contexto y genera una versión nueva en lugar de aplicar cambios atómicos. Esto se nota sobre todo en documentos grandes: cuanto más «material», mayor es la deriva respecto al original.

El fenómeno de lo perdido en el medio

Incluso los modelos con una ventana de contexto de 200k tokens tienen problemas estructurales con documentos largos. Los estudios registran de forma constante el efecto «lost in the middle»: los modelos retienen bien la información del principio y del final del contexto, pero pierden de forma sistemática los detalles del medio. Cuanto más largo es el documento, más fuerte es el efecto. En archivos reales, esto significa que los elementos estructurales de las secciones centrales son los más propensos a distorsionarse.

Víctimas habituales:

• Listas anidadas: los niveles de anidación se aplanan a uno solo
• Tablas: pierden la alineación de columnas o se convierten en prosa
• Referencias cruzadas: se transforman en texto normal sin anclas
• Front matter YAML y etiquetas personalizadas: se eliminan como «basura innecesaria»
• Numeración de secciones: se descuadra tras cualquier inserción o eliminación de contenido

El formato como tokens sin semántica

Markdown, HTML, LaTeX: el modelo lo ve todo como tokens corrientes, no como sintaxis con reglas. Para la red neuronal, los símbolos `##` son simplemente dos almohadillas, no «un encabezado de segundo nivel coherente con el índice». Los patrones de formato se reproducen por analogía estadística con los datos de entrenamiento, no por reglas sintácticas explícitas.

El resultado es previsible: sangrías incoherentes, niveles de encabezado confundidos, anclas de enlaces rotas, cambios aleatorios entre formatos dentro de un mismo documento. Cada una de estas faltas pasa inadvertida por separado, pero en conjunto vuelven el documento inservible para el procesamiento automático o la publicación.

«El modelo no entiende tu documento: entiende la distribución de

probabilidades del siguiente token en su contexto».

Instrucción frente a patrones

Otro factor es la competencia entre la instrucción explícita del usuario y los patrones estadísticos asimilados durante el entrenamiento. Si en los datos de entrenamiento predominaba el Markdown estándar, el modelo tenderá hacia él incluso contra una prohibición explícita. Una plantilla corporativa no estándar, el marcado específico de normas técnicas, un estilo estructural de autor: todo ello es vulnerable a la «memoria» del corpus de entrenamiento.

Además, las instrucciones largas se «diluyen» a medida que avanza la generación. Hacia el final de un documento grande, la atención a las restricciones del prompt original se debilita y la deriva estructural aumenta.

Qué significa esto

La conclusión práctica es directa: los LLM funcionan mejor en tareas puntuales que en la edición integral de un documento entero de una sola pasada. Para archivos estructurados complejos, como especificaciones técnicas, contratos legales o artículos académicos con referencias cruzadas, conviene dividir el documento en secciones aisladas y trabajar con cada una por separado. Las instrucciones deben ser lo más explícitas posible: «cambia solo este párrafo, no toques el resto». Tras cualquier edición con un LLM hace falta una comprobación explícita de los elementos estructurales, porque son los primeros en sufrir.