Одна китайская запятая переключила DeepSeek на китайский в 94% ответов
Замените в приветствии обычную запятую на полноширинную китайскую — и DeepSeek отвечает по-китайски, хотя смысл промпта не изменился. В тесте на официальном API с полноширинной запятой китайский дали 188 ответов из 200 (94%), с обычной — ни одного. Фильтры проверяют символы, а модель видит байты и подслова. Поэтому защиту нужно тестировать на уровне токенов, а не только текста.
AI-обработка оригинала Habr AI; редакция Hamidun News
Отправьте DeepSeek «hello,deepseek» — получите ответ на английском. Поставьте вместо ASCII-запятой полноширинную «,» — и модель в большинстве случаев перейдёт на китайский. Смысл промпта тот же, никаких джейлбрейков, только один трёхбайтовый символ. Если вы строите чат-бота, агента или защитный фильтр перед LLM, это важный урок: поведение модели определяется ещё до слоёв внимания, на входе, где строка превращается в токены.
Как запятая меняет язык ответа
Автор разбора провёл три проверки. Сначала факторный эксперимент на официальном API DeepSeek: два вида запятой, с пробелом и без, по 100 запросов на вариант, температура 0,7, без системного промпта. С обычной запятой китайский не появился ни разу (0 из 200). С полноширинной он был в 95 ответах из 100 без пробела и в 93 из 100 с пробелом, то есть в 94% случаев. Пробел на результат не влияет.
Затем то же воспроизвели локально на DeepSeek-R1-Distill-Qwen-7B, чтобы исключить влияние промежуточных роутеров API. Короткие приветствия вроде «hi» и «hello» переключались на китайский в 44–100% запусков. Длинная английская фраза «good morning» устояла, переключений не было.
Самое интересное видно в первом токене. Если смотреть только на самый вероятный вариант, модель по-прежнему пишет «Hello». Но суммарная вероятность токенов, начинающихся с иероглифов, выросла с 0,3% почти до 50%. Топ-1 скрывает сдвиг внутри распределения. На сыром предсказании без шаблона чата картина похожая: вероятность китайской пунктуации в следующем токене выросла с 0,26% до 26,17% без пробела и до 58,43% с пробелом. Подобное поведение автор наблюдал и в веб-интерфейсах Claude и ChatGPT.
Дыры в фильтрах из-за токенизации
Источник проблемы — разрыв между тем, что видит человек или фильтр, и тем, что получает модель. Токенизатор вроде tiktoken сначала режет текст регулярными выражениями, затем переводит в байты UTF-8 и применяет заранее выученные правила слияния. Полноширинная запятая может стать одним токеном (как в o200k_base) или тремя битыми байтовыми кусками (как в старом r50k_base).
Из этого вытекают конкретные атаки:
- Раздувание токенов. Один кластер из символа «#», 94 комбинируемых знаков и «<» добавил 96 кодовых точек и 179 токенов. Запрос из 64 символов вырос с 10 до 189 токенов. Если быстрый классификатор на BERT-подобном энкодере обрезает вход на 512 токенах, вредоносную инструкцию можно спрятать за этим порогом: основная LLM с большим окном её всё равно прочтёт. Те же вставки перегружают KV-кеш и растягивают расстояние между инструкциями в позиционных эмбеддингах.
- Гомоглифы. Кириллическая «о» вместо латинской даёт «amazоn.com». Человек в цикле подтверждения видит знакомый бренд, а сеть через Punycode уходит на другой домен. В токенизаторе o200k_base «amazon.com» — два токена, а подмена — четыре. NFKC-нормализация такие межалфавитные двойники не склеивает. Нужна проверка «скелетов» по стандарту UTS #39 и запрет смешения алфавитов при исполнении инструментов.
- Категории Unicode. Фильтр по категории «Other Punctuation» считает запятую и интерробанг одним классом, но в o200k_base первая стоит один токен, а вторая — два. Проверка кодовых точек и байтовая реальность модели расходятся.
Почему зонды эмбеддингов врут
Вторая часть разбора — про исследователей интерпретируемости. Они часто ищут «направления» понятий в матрице эмбеддингов и верят в векторную арифметику king − man + woman = queen. Автор проверил это на GloVe и нескольких современных моделях и нашёл четыре ловушки.
Во-первых, в BPE-словарях «king» и « king» с ведущим пробелом — разные токены. В Qwen3-8B «queen» без пробела оказывается на 1733-м месте, а с пробелом — на первом. Во-вторых, выдачу засоряют регистры и варианты написания. В-третьих, нет контрольной базы: в Qwen2.5-7B и GloVe 300d «queen» уже ближайший сосед «king» до всякой арифметики, а в DeepSeek 7B формула вообще не двигает ранг. «Работающая» аналогия — просто соседство слов.
Что делать на практике
Проверяйте длину и лимиты в токенах модели, а не в символах и байтах. Прогоняйте фильтры на вариантах Unicode: полноширинная пунктуация, комбинируемые знаки, смешанные алфавиты. Валидацию вызовов инструментов делайте детерминированным парсером на выходе, а не просьбой в системном промпте. Если вы гоняете мультиязычную модель, добавьте в тесты регрессию по языку ответа: он может меняться от одного символа.
Ограничения тоже стоит помнить. Эксперимент с запятой проведён на коротких приветствиях, длинная английская фраза держалась. Цифры по API относятся к одной модели и одной температуре. Это первая часть серии: дальше автор обещает проследить токен через слои внимания и блоки MLP.
- 18 нояб. 2026 г.ИИ ищет неизвестные уязвимости в V8 за $4,24 и 13 минут, а в феврале не нашёл за $350
- 18 нояб. 2026 г.ИИ-агенты выпустили 228 релизов игры без ревью человека; 25% задач вернули тесты
- 18 нояб. 2026 г.Tencent Hy4 flash набрала 2,79 из 4 против 2,81 у Haiku 5.5 и стоит в 18 раз дешевле за задачу
- 18 нояб. 2026 г.Дообучение NER-модели подняло долю скрытых секретов сделок с 39,5% до 91,8%
Вопросы и ответы по материалу
Что известно по теме: как запятая меняет язык ответа?
Автор разбора провёл три проверки. Сначала факторный эксперимент на официальном API DeepSeek: два вида запятой, с пробелом и без, по 100 запросов на вариант, температура 0,7, без системного промпта. С обычной запятой китайский не появился ни разу (0 из 200). С полноширинной он был в 95 ответах из 100 без пробела и в 93 из 100 с пробелом, то есть в 94% случаев. Пробел на результат не влияет. Затем то же воспроизвели локально на DeepSeek-R1-Distill-Qwen-7B, чтобы исключить влияние промежуточных роутеров API.
Что известно по теме: дыры в фильтрах из-за токенизации?
Источник проблемы — разрыв между тем, что видит человек или фильтр, и тем, что получает модель. Токенизатор вроде tiktoken сначала режет текст регулярными выражениями, затем переводит в байты UTF-8 и применяет заранее выученные правила слияния. Полноширинная запятая может стать одним токеном (как в o200k_base) или тремя битыми байтовыми кусками (как в старом r50k_base). Из этого вытекают конкретные атаки: Раздувание токенов.
Что известно по теме: почему зонды эмбеддингов врут?
Вторая часть разбора — про исследователей интерпретируемости. Они часто ищут «направления» понятий в матрице эмбеддингов и верят в векторную арифметику king − man + woman = queen. Автор проверил это на GloVe и нескольких современных моделях и нашёл четыре ловушки. Во-первых, в BPE-словарях «king» и « king» с ведущим пробелом — разные токены. В Qwen3-8B «queen» без пробела оказывается на 1733-м месте, а с пробелом — на первом. Во-вторых, выдачу засоряют регистры и варианты написания.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.