DeepSeek-OCR сжимает текстовый контекст в 10 раз при точности 97%

DeepSeek опубликовала статью и открыла код DeepSeek-OCR: системы, которая превращает текст в изображение и использует визуальные токены как сжатое представление контекста. По данным авторов, при сжатии примерно в 10 раз декодер восстанавливает исходный текст с точностью около 97%. При 20-кратном сжатии точность падает примерно до 60%. Популярный разбор на канале Two Minute Papers называет это решением проблемы памяти ИИ. Формулировка громкая: проблема скорее обозначена, чем закрыта, но цифры по документам убедительны.

Зачем текст превращать в картинку

Длинный контекст дорог. Стоимость внимания в трансформере растёт квадратично с числом токенов, а страница плотного текста легко занимает тысячи токенов. Та же страница, поданная как изображение, кодируется сотнями визуальных токенов. Авторы ставят вопрос: можно ли использовать зрение как канал сжатия для языковой модели? Эксперимент показывает, что для задачи распознавания можно.

Как это устроено

Система состоит из двух частей. Энкодер DeepEncoder сочетает локальное оконное внимание на базе SAM и глобальное внимание на базе CLIP-large. Между ними стоит свёрточный компрессор, который сокращает число токенов в 16 раз, поэтому дорогое глобальное внимание работает уже с малым числом элементов. Декодер, DeepSeek3B-MoE, — модель типа mixture-of-experts с примерно 3 млрд параметров, из которых на каждый токен активны около 570 млн.

Ключевые параметры по данным статьи:

• сжатие до 10x: точность распознавания около 97%;
• сжатие около 20x: точность около 60%;
• режимы разрешения: Tiny (64 токена), Small (100), Base (256), Large (400) и Gundam для сложных страниц с несколькими фрагментами;
• OmniDocBench: 100 токенов на страницу превосходят GOT-OCR2.0, которому нужно 256;
• менее 800 токенов дают результат лучше MinerU2.0, который тратит около 7000;
• производительность: свыше 200 тысяч страниц в сутки на одной A100-40G, до 33 млн страниц в сутки на 20 узлах по 8 GPU.

Где заканчивается красивая идея

Главное ограничение: OCR проверяет, можно ли прочитать текст обратно. Он не проверяет, способна ли языковая модель рассуждать над оптически сжатым контекстом так же хорошо, как над обычными токенами. Это разные задачи, и в статье второй ответ не дан.

Авторы также предлагают аналогию с человеческой памятью: старые фрагменты диалога можно хранить в картинке с всё более низким разрешением, то есть постепенно «забывать». Звучит логично для агентов с длинной историей, но это гипотеза. Пока нет данных, как такая схема влияет на качество ответов в диалогах, кодинге и многошаговых задачах.

Нужно учитывать и потери. При 60% точности на уровне 20x нельзя хранить договоры, код или числа, где ошибка в одном символе меняет смысл. Для таких случаев потребуется контроль качества или возврат к исходному тексту.

Что пробовать на практике

Команды, которые оцифровывают архивы, счета и научные PDF, могут уже сейчас проверить DeepSeek-OCR: код и веса лежат на GitHub. Выигрыш прежде всего в стоимости обработки: меньше токенов на страницу значит меньше нагрузки на GPU. Модель также подходит для генерации обучающих данных из документов в больших объёмах, на что и указывают цифры производительности.

Разработчикам агентов стоит отложить громкие выводы и поставить собственный тест: взять свою длинную историю диалога, сжать старую часть в изображение и сравнить качество ответов с обычным контекстом. Если разницы нет, экономия на токенах будет заметной. Если есть, придётся решать, какие данные допустимо «забывать».