Текстовый автоэнкодер сжимает веб-текст до 2,24 бита на байт без потери смысла

Исследователи опубликовали на arXiv препринт 2610.10738 о текстовом автоэнкодере, который сжимает текст в короткое дискретное латентное представление. На веб-тексте модель выходит на 2,24 бита на байт. Сырой текст занимает 8 бит на байт, так что сжатие примерно 3,6-кратное. По словам авторов, этот результат сопоставим с алгоритмами сжатия без потерь. При этом восстановленный текст остаётся близким к исходному, а представления пригодны для downstream-задач.

Как устроена архитектура

Работа лежит на стыке классического сжатия данных и обучения представлений. Энкодер уменьшает длину последовательности скрытых состояний по оси времени, то есть из N токенов получается заметно меньше векторов. Декодер затем растягивает её обратно. Обе операции, и downscaling, и upscaling, сделаны с остаточными связями, чтобы информация не терялась на промежуточных слоях.

Главный узел находится в середине. Это остаточное дискретное «бутылочное горлышко» малой размерности: сжатые векторы квантуются в конечный набор кодов. Дискретность здесь принципиальна. Только из таких кодов можно получить битовую строку и честно измерить, сколько бит приходится на байт исходного текста.

Авторы не ограничились одной конфигурацией. Они сравнивают разные методы квантования, разные цели обучения и разные датасеты. Какие именно варианты вошли в сравнение, из аннотации не видно. Это придётся смотреть в самой статье.

Как измеряли качество

Сжатие с потерями требует двух линеек. Первая показывает, насколько восстановленный текст совпадает с оригиналом по поверхности. Для этого взяли BLEU. Вторая показывает, сохранился ли смысл, и её роль играет LLM-судья. Если модель переформулировала фразу, BLEU просядет, а судья может засчитать её как верную.

Для нескольких уровней сжатия авторы сопоставляют обе метрики. Дополнительно они прогоняют модели через бенчмарки вопросов-ответов и семантической близости текстов (semantic text similarity). Так проверяется, что латент пригоден как рабочее представление, а не только как архив, из которого можно вернуть текст.

Ключевые параметры из аннотации:

• Задача: lossy-сжатие текста через автоэнкодер с дискретным латентом
• Механизм: остаточное уменьшение и увеличение длины по оси времени
• Узкое место: остаточный низкоразмерный дискретный bottleneck
• Результат: 2,24 бита на байт на веб-тексте
• Ориентир: уровень алгоритмов сжатия без потерь
• Метрики: BLEU, LLM-судья, QA, semantic text similarity

Что пока неизвестно и где это может пригодиться

Это первая версия препринта, рецензирования у неё нет. В аннотации нет ни значений BLEU, ни оценок судьи, ни размера моделей, ни скорости кодирования и декодирования. Неясно, с какими именно компрессорами без потерь проводилось сравнение. Фраза «на уровне» ничего не говорит о запасе по качеству, пока не видны таблицы.

Практический интерес всё равно есть. Если латент действительно удерживает смысл при многократном сжатии по длине, у него несколько очевидных применений:

• Сжатие контекста для LLM. Короткая последовательность латентных векторов вместо длинного текста потенциально удешевляет работу с длинными документами.
• Хранение корпусов. Для поиска и ретривала важен смысл, а не побуквенное совпадение, и здесь потери допустимы.
• Семантические эмбеддинги. Проверка на semantic text similarity намекает, что представления можно использовать напрямую.

Это гипотезы, а не выводы авторов. Проверять их стоит по трём пунктам: как растёт ошибка восстановления при более агрессивном сжатии, насколько устойчив метод на текстах вне веб-домена (код, таблицы, редкие языки) и во что обходятся кодирование и декодирование. Пока статья не прочитана целиком, результат стоит считать многообещающим, но не подтверждённым.