Старт 23 ноябряЖивой Поток 3 интенсива «Вайбкодинг и ИИ-агенты»: 3 недели практики, 9 живых занятийПоток 3 (23.11) →
РелизAPI / Продукт · В работуHabr AI→ оригинал

Одна китайская запятая переключила DeepSeek на китайский в 94% ответов

Замените в приветствии обычную запятую на полноширинную китайскую — и DeepSeek отвечает по-китайски, хотя смысл промпта не изменился. В тесте на официальном API с полноширинной запятой китайский дали 188 ответов из 200 (94%), с обычной — ни одного. Фильтры проверяют символы, а модель видит байты и подслова. Поэтому защиту нужно тестировать на уровне токенов, а не только текста.

AI-обработка оригинала Habr AI; редакция Hamidun News
Одна китайская запятая переключила DeepSeek на китайский в 94% ответов
Источник: Habr AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникHabr AI ↗
Главный редактор
Ключевой факт #1Невидимый кластер диакритики раздул запрос с 10 до 189 токенов
Ключевой факт #2Кириллическая «о» в amazon.com дробит слово на 4 токена вместо 2
Ключевой факт #3В Qwen2.5-7B «queen» и так ближайший сосед «king» без векторной арифметики

Отправьте DeepSeek «hello,deepseek» — получите ответ на английском. Поставьте вместо ASCII-запятой полноширинную «,» — и модель в большинстве случаев перейдёт на китайский. Смысл промпта тот же, никаких джейлбрейков, только один трёхбайтовый символ. Если вы строите чат-бота, агента или защитный фильтр перед LLM, это важный урок: поведение модели определяется ещё до слоёв внимания, на входе, где строка превращается в токены.

Как запятая меняет язык ответа

Автор разбора провёл три проверки. Сначала факторный эксперимент на официальном API DeepSeek: два вида запятой, с пробелом и без, по 100 запросов на вариант, температура 0,7, без системного промпта. С обычной запятой китайский не появился ни разу (0 из 200). С полноширинной он был в 95 ответах из 100 без пробела и в 93 из 100 с пробелом, то есть в 94% случаев. Пробел на результат не влияет.

Затем то же воспроизвели локально на DeepSeek-R1-Distill-Qwen-7B, чтобы исключить влияние промежуточных роутеров API. Короткие приветствия вроде «hi» и «hello» переключались на китайский в 44–100% запусков. Длинная английская фраза «good morning» устояла, переключений не было.

Самое интересное видно в первом токене. Если смотреть только на самый вероятный вариант, модель по-прежнему пишет «Hello». Но суммарная вероятность токенов, начинающихся с иероглифов, выросла с 0,3% почти до 50%. Топ-1 скрывает сдвиг внутри распределения. На сыром предсказании без шаблона чата картина похожая: вероятность китайской пунктуации в следующем токене выросла с 0,26% до 26,17% без пробела и до 58,43% с пробелом. Подобное поведение автор наблюдал и в веб-интерфейсах Claude и ChatGPT.

Дыры в фильтрах из-за токенизации

Источник проблемы — разрыв между тем, что видит человек или фильтр, и тем, что получает модель. Токенизатор вроде tiktoken сначала режет текст регулярными выражениями, затем переводит в байты UTF-8 и применяет заранее выученные правила слияния. Полноширинная запятая может стать одним токеном (как в o200k_base) или тремя битыми байтовыми кусками (как в старом r50k_base).

Из этого вытекают конкретные атаки:

  • Раздувание токенов. Один кластер из символа «#», 94 комбинируемых знаков и «<» добавил 96 кодовых точек и 179 токенов. Запрос из 64 символов вырос с 10 до 189 токенов. Если быстрый классификатор на BERT-подобном энкодере обрезает вход на 512 токенах, вредоносную инструкцию можно спрятать за этим порогом: основная LLM с большим окном её всё равно прочтёт. Те же вставки перегружают KV-кеш и растягивают расстояние между инструкциями в позиционных эмбеддингах.
  • Гомоглифы. Кириллическая «о» вместо латинской даёт «amazоn.com». Человек в цикле подтверждения видит знакомый бренд, а сеть через Punycode уходит на другой домен. В токенизаторе o200k_base «amazon.com» — два токена, а подмена — четыре. NFKC-нормализация такие межалфавитные двойники не склеивает. Нужна проверка «скелетов» по стандарту UTS #39 и запрет смешения алфавитов при исполнении инструментов.
  • Категории Unicode. Фильтр по категории «Other Punctuation» считает запятую и интерробанг одним классом, но в o200k_base первая стоит один токен, а вторая — два. Проверка кодовых точек и байтовая реальность модели расходятся.

Почему зонды эмбеддингов врут

Вторая часть разбора — про исследователей интерпретируемости. Они часто ищут «направления» понятий в матрице эмбеддингов и верят в векторную арифметику king − man + woman = queen. Автор проверил это на GloVe и нескольких современных моделях и нашёл четыре ловушки.

Во-первых, в BPE-словарях «king» и « king» с ведущим пробелом — разные токены. В Qwen3-8B «queen» без пробела оказывается на 1733-м месте, а с пробелом — на первом. Во-вторых, выдачу засоряют регистры и варианты написания. В-третьих, нет контрольной базы: в Qwen2.5-7B и GloVe 300d «queen» уже ближайший сосед «king» до всякой арифметики, а в DeepSeek 7B формула вообще не двигает ранг. «Работающая» аналогия — просто соседство слов.

Что делать на практике

Проверяйте длину и лимиты в токенах модели, а не в символах и байтах. Прогоняйте фильтры на вариантах Unicode: полноширинная пунктуация, комбинируемые знаки, смешанные алфавиты. Валидацию вызовов инструментов делайте детерминированным парсером на выходе, а не просьбой в системном промпте. Если вы гоняете мультиязычную модель, добавьте в тесты регрессию по языку ответа: он может меняться от одного символа.

Ограничения тоже стоит помнить. Эксперимент с запятой проведён на коротких приветствиях, длинная английская фраза держалась. Цифры по API относятся к одной модели и одной температуре. Это первая часть серии: дальше автор обещает проследить токен через слои внимания и блоки MLP.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как запятая меняет язык ответа?

Автор разбора провёл три проверки. Сначала факторный эксперимент на официальном API DeepSeek: два вида запятой, с пробелом и без, по 100 запросов на вариант, температура 0,7, без системного промпта. С обычной запятой китайский не появился ни разу (0 из 200). С полноширинной он был в 95 ответах из 100 без пробела и в 93 из 100 с пробелом, то есть в 94% случаев. Пробел на результат не влияет. Затем то же воспроизвели локально на DeepSeek-R1-Distill-Qwen-7B, чтобы исключить влияние промежуточных роутеров API.

Что известно по теме: дыры в фильтрах из-за токенизации?

Источник проблемы — разрыв между тем, что видит человек или фильтр, и тем, что получает модель. Токенизатор вроде tiktoken сначала режет текст регулярными выражениями, затем переводит в байты UTF-8 и применяет заранее выученные правила слияния. Полноширинная запятая может стать одним токеном (как в o200k_base) или тремя битыми байтовыми кусками (как в старом r50k_base). Из этого вытекают конкретные атаки: Раздувание токенов.

Что известно по теме: почему зонды эмбеддингов врут?

Вторая часть разбора — про исследователей интерпретируемости. Они часто ищут «направления» понятий в матрице эмбеддингов и верят в векторную арифметику king − man + woman = queen. Автор проверил это на GloVe и нескольких современных моделях и нашёл четыре ловушки. Во-первых, в BPE-словарях «king» и « king» с ведущим пробелом — разные токены. В Qwen3-8B «queen» без пробела оказывается на 1733-м месте, а с пробелом — на первом. Во-вторых, выдачу засоряют регистры и варианты написания.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…