Исследователи ByteDance нашли слабое место в экономии памяти DeepSeek

Статья, опубликованная в конце сентября 2026 года, ставит под вопрос одну из главных инженерных опор DeepSeek. Работу возглавили исследователи ByteDance. Среди соавторов есть учёные из Принстона, Стэнфорда и Калифорнийского университета в Беркли. По данным SCMP, они описали потенциальный изъян в технологии экономии памяти, лежащей в основе моделей китайской лаборатории. Эта технология помогла DeepSeek сократить отставание от OpenAI и Anthropic при заметно меньших затратах. Вывод авторов: за экономию можно расплатиться неточностью ответов.

Что известно о работе

Публичный пересказ пока короткий, и это надо учитывать. В доступном фрагменте источника нет названия конкретного механизма, нет процентов потери качества и списка бенчмарков. Нет и данных о том, на каких версиях моделей DeepSeek проводились тесты. Сказано лишь, что исследование выявило слабость в подходе к экономии памяти и что слабость может приводить к снижению точности.

Сам состав авторов говорит о многом. ByteDance сама разрабатывает большие модели и сама платит за инференс, поэтому знает цену каждого гигабайта кэша. Соавторы из трёх ведущих американских университетов добавляют работе академический вес. Это не заметка в блоге конкурента, а препринт с широкой коалицией. Скорее всего, его будут разбирать и пытаться воспроизвести.

Почему это болезненно для DeepSeek

Экономия памяти для DeepSeek не частная оптимизация, а основа экономической модели. Память, которую модель держит при генерации, в первую очередь кэш ключей и значений внимания, определяет, сколько запросов выдержит один ускоритель и какой длины контекст он потянет. Чем компактнее кэш, тем дешевле токен. Для лаборатории, которая работает с ограниченным доступом к топовым чипам и конкурирует ценой, это критично.

Для контекста: в публикации по DeepSeek-V2 лаборатория заявляла о сокращении KV-кэша на 93,3% за счёт механизма Multi-head Latent Attention. DeepSeek-V3 имеет 671 млрд параметров, из них 37 млрд активных на токен, и обучалась примерно за 2,788 млн GPU-часов на H800. Связь новой статьи именно с этим механизмом в доступном тексте не подтверждена, это наш контекст, а не цитата из исследования. Но он показывает масштаб ставок. Если сжатие памяти системно роняет точность, дешёвая арифметика DeepSeek требует поправки.

Ключевые факты

• Авторы: команда ByteDance, соавторы из Princeton, Stanford и UC Berkeley.
• Публикация: конец сентября 2026 года.
• Объект критики: технология экономии памяти в моделях DeepSeek.
• Заявленный риск: снижение точности работы модели.
• Метрики деградации и список протестированных моделей в доступном фрагменте источника не указаны.
• Контекст: V2 заявляла минус 93,3% к размеру KV-кэша, V3 имеет 671 млрд параметров при 37 млрд активных.

Чего пока не хватает

Главный вопрос в том, где именно проявляется деградация. Сжатие памяти обычно бьёт по задачам, где нужно точно достать деталь из длинного контекста. Это поиск факта в большом документе, работа с репозиторием кода, многошаговые рассуждения с возвратом к ранним токенам. Средние бенчмарки могут этого не показывать. Если авторы нашли именно такой сценарий, это серьёзнее, чем падение на пару пунктов в общем рейтинге.

Второй вопрос касается ответа DeepSeek. Лаборатория может показать, что эффект проявляется только в определённых конфигурациях, что он исправляется дообучением или что более новые версии уже его обошли. Пока ответа нет, оценивать масштаб проблемы преждевременно.

Как с этим работать

Командам, которые уже используют модели DeepSeek в продакшене, не нужно срочно уходить на другой стек. Стоит заняться проверкой на собственных данных.

• Прогоните свои длинные сценарии: извлечение фактов из больших документов, анализ кода, цепочки рассуждений. Сравните с эталоном, например с другой моделью, и фиксируйте расхождения.
• Следите за препринтом и репликациями. Независимое подтверждение важнее первой публикации, особенно когда автор работает в конкурирующей компании.
• Считайте стоимость с поправкой на качество. Если дешёвый токен требует повторных запросов или ручной проверки, выигрыш в цене тает.
• Для критичных задач держите запасную модель и автоматическое сравнение ответов.

Для рынка в целом история показывает более общую вещь. Эффективность, достигнутая архитектурным трюком, должна проверяться так же жёстко, как эффективность, достигнутая масштабом. Первый серьёзный аудит подхода DeepSeek пришёл от коллег по цеху, и скорее всего, не последний.