AutoIndexer учит языковую модель править собственный вывод тремя типами правок

Исследователи опубликовали AutoIndexer — генеративную модель, которая умеет возвращаться к уже написанному тексту и менять его тремя операциями: вставкой, заменой и удалением токенов. Вместо движения строго слева направо модель работает как текстовый редактор с курсором. Препринт 2610.12545 вышел в arXiv cs.CL 12 октября 2026 года, а код лежит в открытом репозитории AutodeskAILab/autoindexer.

Исходная проблема знакома каждому, кто работал с LLM. Авторегрессионная модель выдаёт токен за токеном, и записанное уже не поправить. Для данных с неочевидным порядком зависимостей, например с перекрёстными ссылками или привязкой к тому, что появится дальше по тексту, это неудобно. Человек в такой ситуации пишет черновик, возвращается назад и правит. Диффузионные языковые модели частично закрывают разрыв, но, по словам авторов, всё равно не могут гибко вставлять в готовый контекст или удалять из него произвольное число токенов.

Как устроена цепочка правок

Авторы называют подход Chain of Edits. Модель предсказывает специальные маркерные токены, которые открывают и закрывают правку. Одновременно она переносит курсор на нужную позицию в существующей последовательности. Так в одном механизме собираются все три операции: вставить новые токены, заменить имеющиеся, убрать лишние.

Обучающие данные получают нетривиальным способом. Берут эталонные ответы и портят их цепочкой обратных операций, то есть искусственно вносят вставки, замены и удаления. Модель учится восстанавливать оригинал, откатывая эти искажения. Редактирование здесь становится прямым результатом обучающей задачи, а не надстройкой над готовой моделью.

У такого обучения есть побочный эффект, который авторы подчёркивают отдельно. Раз модель привыкла видеть «грязный» контекст, она устойчивее к ошибкам в нём и лучше подходит для задач правки, в частности для исправления кода.

Что заявлено

• Операции: вставка, замена и удаление токенов в уже сгенерированном контексте.
• Механизм: маркерные токены открытия и закрытия правки плюс перемещение курсора по существующей последовательности.
• Обучение: возмущение эталонных меток обратными цепочками правок, модель учится их отменять.
• Результат: способность редактировать контекст после генерации, которой, по утверждению авторов, нет у большинства авторегрессионных и диффузионных моделей.
• Качество: заявлено отсутствие просадки на стандартных LLM-бенчмарках.
• Доступность: код опубликован на GitHub.

В аннотации нет ни размеров моделей, ни конкретных метрик, ни названий бенчмарков. Фраза «без ущерба для качества» требует проверки по таблицам в полном тексте статьи. Открытых вопросов как минимум два. Во-первых, сколько стоит редактирование по токенам и латентности: маркеры правок и перемещения курсора удлиняют вывод. Во-вторых, насколько метод переносится на большие модели, если обучение строится на синтетических искажениях.

Где это можно проверить на практике

Ближайшая прикладная зона — исправление кода. Здесь правка точечная, а ошибка часто обнаруживается только после того, как функция дописана до конца. Вторая зона — структурированные документы, где ссылки и оглавления зависят от содержимого, которого на момент начала генерации ещё нет. Третья — агентные пайплайны, в которых модель правит собственный черновик, а не перезапускает генерацию целиком.

Команде, которая строит инструменты для разработчиков или работу с документами, имеет смысл взять репозиторий и прогнать его на собственных задачах code correction. Сравнивать нужно с базовой авторегрессионной моделью по трём показателям: доля исправленных ошибок, число сгенерированных токенов и задержка. Если правка действительно обходится дешевле перегенерации, у подхода есть коммерческий смысл. Если нет, это остаётся интересным исследовательским приёмом.