Une seule virgule chinoise a fait basculer DeepSeek en chinois dans 94% des réponses
Remplacez la virgule ordinaire d'une formule de salutation par une virgule chinoise pleine chasse, et DeepSeek répond en chinois, alors que le sens du prompt n'a pas changé. Lors d'un test sur l'API officielle, la virgule pleine chasse a produit 188 réponses en chinois sur 200 (94%), contre aucune avec la virgule ordinaire. Les filtres vérifient des caractères, alors que le modèle voit des octets et des sous-mots. La protection doit donc être testée au niveau des tokens, et pas seulement du texte.
Traité par IA depuis Habr AI ; édité par Hamidun News
Envoyez « hello,deepseek » à DeepSeek et vous obtenez une réponse en anglais. Remplacez la virgule ASCII par la virgule pleine chasse «, » et le modèle bascule le plus souvent en chinois. Le sens du prompt est identique, il n'y a aucun jailbreak : il suffit d'un seul caractère de trois octets. Si vous développez un chatbot, un agent ou un filtre de protection placé devant un LLM, la leçon est importante : le comportement du modèle se joue avant les couches d'attention, à l'entrée, là où la chaîne de caractères est convertie en tokens.
Comment une virgule change la langue de la réponse
L'auteur de l'analyse a mené trois vérifications. La première est une expérience factorielle sur l'API officielle de DeepSeek : deux types de virgule, avec et sans espace, 100 requêtes par variante, température de 0,7, sans prompt système. Avec la virgule ordinaire, le chinois n'apparaît jamais (0 sur 200). Avec la virgule pleine chasse, il apparaît dans 95 réponses sur 100 sans espace et dans 93 sur 100 avec espace, soit 94% des cas. L'espace n'influe pas sur le résultat.
L'auteur a ensuite reproduit l'expérience en local sur DeepSeek-R1-Distill-Qwen-7B, afin d'écarter l'influence d'éventuels routeurs intermédiaires de l'API. Les salutations courtes comme « hi » et « hello » ont basculé en chinois dans 44 à 100% des exécutions. La phrase anglaise plus longue « good morning » a résisté : aucun basculement n'a été observé.
Le plus intéressant se voit sur le premier token. Si l'on ne regarde que la variante la plus probable, le modèle écrit toujours « Hello ». Mais la probabilité cumulée des tokens commençant par des sinogrammes est passée de 0,3% à près de 50%. Le top-1 masque un déplacement au sein de la distribution. Sur la prédiction brute, sans gabarit de chat, le tableau est similaire : la probabilité d'une ponctuation chinoise au token suivant passe de 0,26% à 26,17% sans espace, et à 58,43% avec espace. L'auteur dit avoir observé un comportement comparable dans les interfaces web de Claude et de ChatGPT.
Des failles dans les filtres à cause de la tokenisation
L'origine du problème est l'écart entre ce que voient l'humain ou le filtre et ce que reçoit le modèle. Un tokenizer comme tiktoken découpe d'abord le texte avec des expressions régulières, le convertit ensuite en octets UTF-8, puis applique des règles de fusion apprises à l'avance. La virgule pleine chasse peut devenir un seul token (comme dans o200k_base) ou trois fragments d'octets cassés (comme dans l'ancien r50k_base).
De là découlent des attaques concrètes :
- Gonflement de tokens. Un seul cluster composé du caractère « # », de 94 signes combinants et de « < » a ajouté 96 points de code et 179 tokens. Une requête de 64 caractères est passée de 10 à 189 tokens. Si un classifieur rapide fondé sur un encodeur de type BERT tronque l'entrée à 512 tokens, une instruction malveillante peut être cachée au-delà de ce seuil : le LLM principal, avec sa grande fenêtre de contexte, la lira malgré tout. Ces mêmes insertions saturent le KV-cache et allongent la distance entre les instructions dans les embeddings positionnels.
- Homoglyphes. Un « о » cyrillique à la place du « o » latin donne « amazоn.com ». L'humain chargé de la validation voit une marque familière, mais la requête réseau part, via Punycode, vers un autre domaine. Dans le tokenizer o200k_base, « amazon.com » fait deux tokens, et la version falsifiée en fait quatre. La normalisation NFKC ne fusionne pas ces sosies issus d'alphabets différents. Il faut une vérification des « squelettes » selon la norme UTS #39 et l'interdiction du mélange d'alphabets lors de l'exécution des outils.
- Catégories Unicode. Un filtre sur la catégorie « Other Punctuation » traite la virgule et le point d'exclamation interrogatif (interrobang) comme une même classe, mais dans o200k_base la première occupe un token et le second deux. La vérification des points de code et la réalité en octets du modèle divergent.
Pourquoi les sondes d'embeddings se trompent
La seconde partie de l'analyse s'adresse aux chercheurs en interprétabilité. Ils cherchent souvent des « directions » de concepts dans la matrice d'embeddings et croient à l'arithmétique vectorielle king − man + woman = queen. L'auteur l'a vérifié sur GloVe et sur plusieurs modèles récents, et a relevé quatre pièges.
Premièrement, dans les vocabulaires BPE, « king » et « king » précédé d'une espace sont deux tokens distincts. Dans Qwen3-8B, « queen » sans espace arrive en 1733e position, contre la première position avec espace. Deuxièmement, les résultats sont pollués par les variantes de casse et d'orthographe. Troisièmement, il n'existe pas de référence de contrôle : dans Qwen2.5-7B et dans GloVe 300d, « queen » est déjà le plus proche voisin de « king » avant toute arithmétique, et dans DeepSeek 7B la formule ne modifie pas du tout le rang. L'analogie qui « fonctionne » n'est que du voisinage entre mots.
Que faire en pratique
Vérifiez la longueur et les limites en tokens du modèle, et non en caractères ou en octets. Testez vos filtres sur des variantes Unicode : ponctuation pleine chasse, signes combinants, alphabets mélangés. Validez les appels d'outils avec un parseur déterministe en sortie, et non en le demandant dans le prompt système. Si vous exploitez un modèle multilingue, ajoutez à vos tests une régression sur la langue de réponse : elle peut changer à cause d'un seul caractère.
Il faut aussi garder les limites à l'esprit. L'expérience sur la virgule a été menée sur des salutations courtes, et la phrase anglaise plus longue a tenu. Les chiffres de l'API concernent un seul modèle et une seule température. Ce texte est la première partie d'une série : l'auteur promet de suivre ensuite un token à travers les couches d'attention et les blocs MLP.
- 18 nov. 2026Une IA trouve une faille inconnue dans V8 pour $4,24 en 13 minutes, alors qu'en février elle n'avait rien trouvé pour $350
- 18 nov. 2026Des agents IA ont livré 228 releases d'un jeu sans relecture humaine ; les tests ont renvoyé 25% des tâches
- 18 nov. 2026Tencent Hy4 flash obtient 2,79 sur 4 contre 2,81 pour Haiku 5.5 et coûte 18 fois moins cher par tâche
- 18 nov. 2026Le fine-tuning d'un modèle NER fait passer la part de secrets commerciaux entièrement masqués de 39,5% à 91,8%
Questions clés sur cet article
Comment une virgule change la langue de la réponse?
L'auteur de l'analyse a mené trois vérifications. La première est une expérience factorielle sur l'API officielle de DeepSeek : deux types de virgule, avec et sans espace, 100 requêtes par variante, température de 0,7, sans prompt système. Avec la virgule ordinaire, le chinois n'apparaît jamais (0 sur 200). Avec la virgule pleine chasse, il apparaît dans 95 réponses sur 100 sans espace et dans 93 sur 100 avec espace, soit 94% des cas. L'espace n'influe pas sur le résultat.
Que sait-on sur Des failles dans les filtres à cause de la tokenisation ?
L'origine du problème est l'écart entre ce que voient l'humain ou le filtre et ce que reçoit le modèle. Un tokenizer comme tiktoken découpe d'abord le texte avec des expressions régulières, le convertit ensuite en octets UTF-8, puis applique des règles de fusion apprises à l'avance. La virgule pleine chasse peut devenir un seul token (comme dans o200k_base) ou trois fragments d'octets cassés (comme dans l'ancien r50k_base). De là découlent des attaques concrètes : Gonflement de tokens.
Pourquoi les sondes d'embeddings se trompent?
La seconde partie de l'analyse s'adresse aux chercheurs en interprétabilité. Ils cherchent souvent des « directions » de concepts dans la matrice d'embeddings et croient à l'arithmétique vectorielle king − man + woman = queen. L'auteur l'a vérifié sur GloVe et sur plusieurs modèles récents, et a relevé quatre pièges. Premièrement, dans les vocabulaires BPE, « king » et « king » précédé d'une espace sont deux tokens distincts.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
L'essentiel de l'IA — une fois par semaine
Sept actus qui ont vraiment compté, choisies à la main. Sans bruit ni communiqués.
C'est fait ! Vérifiez votre boîte mail pour la confirmation.