Uma vírgula chinesa fez o DeepSeek responder em chinês em 94% dos casos
Troque a vírgula comum da saudação por uma vírgula chinesa de largura total e o DeepSeek passa a responder em chinês, embora o sentido do prompt continue o mesmo. Em um teste na API oficial, a vírgula de largura total gerou respostas em chinês em 188 de 200 casos (94%). Com a vírgula comum, não houve nenhuma. Os filtros verificam caracteres, mas o modelo enxerga bytes e subpalavras. Por isso, a proteção precisa ser testada no nível dos tokens, e não apenas do texto.
Processado por IA de Habr AI; editado por Hamidun News
Envie «hello,deepseek» ao DeepSeek e a resposta virá em inglês. Troque a vírgula ASCII pela vírgula de largura total «,» e, na maioria dos casos, o modelo passa a responder em chinês. O sentido do prompt é o mesmo, não há jailbreak, apenas um caractere de três bytes. Se você desenvolve um chatbot, um agente ou um filtro de proteção antes de um LLM, a lição é importante: o comportamento do modelo é definido antes das camadas de atenção, na entrada, onde a string vira tokens.
Como a vírgula muda o idioma da resposta
O autor da análise fez três verificações. Primeiro, um experimento fatorial na API oficial do DeepSeek: dois tipos de vírgula, com e sem espaço, 100 requisições por variante, temperatura 0,7 e sem prompt de sistema. Com a vírgula comum, o chinês não apareceu nenhuma vez (0 de 200). Com a vírgula de largura total, apareceu em 95 de 100 respostas sem espaço e em 93 de 100 com espaço, ou seja, em 94% dos casos. O espaço não afeta o resultado.
Depois, o mesmo teste foi reproduzido localmente no DeepSeek-R1-Distill-Qwen-7B, para eliminar a influência de roteadores intermediários da API. Saudações curtas como «hi» e «hello» mudaram para o chinês em 44–100% das execuções. A frase longa em inglês «good morning» resistiu, sem nenhuma troca de idioma.
O dado mais interessante está no primeiro token. Se olharmos apenas para a opção mais provável, o modelo continua escrevendo «Hello». Mas a probabilidade somada dos tokens que começam com ideogramas subiu de 0,3% para quase 50%. O top-1 esconde um deslocamento dentro da distribuição. Na previsão bruta, sem template de chat, o quadro é parecido: a probabilidade de pontuação chinesa no token seguinte subiu de 0,26% para 26,17% sem espaço e para 58,43% com espaço. O autor também observou comportamento semelhante nas interfaces web do Claude e do ChatGPT.
Brechas em filtros causadas pela tokenização
A origem do problema é a distância entre o que o humano ou o filtro enxerga e o que o modelo recebe. Um tokenizador como o tiktoken primeiro divide o texto com expressões regulares, depois converte em bytes UTF-8 e aplica regras de fusão aprendidas previamente. A vírgula de largura total pode virar um único token (como no o200k_base) ou três fragmentos de bytes quebrados (como no antigo r50k_base).
Disso decorrem ataques concretos:
- Inflação de tokens. Um único cluster formado pelo símbolo «#», 94 caracteres combinantes e «<» adicionou 96 pontos de código e 179 tokens. Uma requisição de 64 caracteres passou de 10 para 189 tokens. Se um classificador rápido, baseado em um encoder do tipo BERT, trunca a entrada em 512 tokens, uma instrução maliciosa pode ser escondida além desse limite: o LLM principal, com janela de contexto maior, a lê normalmente. As mesmas inserções sobrecarregam o KV-cache e aumentam a distância entre instruções nos embeddings posicionais.
- Homóglifos. O «о» cirílico no lugar do latino produz «amazоn.com». Quem está no ciclo de confirmação vê uma marca conhecida, mas a rede, via Punycode, vai para outro domínio. No tokenizador o200k_base, «amazon.com» tem dois tokens, e a versão adulterada, quatro. A normalização NFKC não une esses sósias de alfabetos diferentes. É preciso verificar os «esqueletos» pelo padrão UTS #39 e proibir a mistura de alfabetos na execução de ferramentas.
- Categorias Unicode. Um filtro pela categoria «Other Punctuation» trata a vírgula e o interrobang como a mesma classe, mas no o200k_base a primeira custa um token e o segundo, dois. A checagem de pontos de código e a realidade em bytes do modelo divergem.
Por que as sondas de embeddings enganam
A segunda parte da análise trata dos pesquisadores de interpretabilidade. Eles costumam procurar «direções» de conceitos na matriz de embeddings e acreditar na aritmética vetorial king − man + woman = queen. O autor testou isso no GloVe e em vários modelos modernos e encontrou quatro armadilhas.
Primeiro, nos vocabulários BPE, «king» e « king» com espaço inicial são tokens diferentes. No Qwen3-8B, «queen» sem espaço aparece na posição 1733, enquanto com espaço aparece na primeira. Segundo, os resultados ficam poluídos por variações de caixa e de grafia. Terceiro, falta uma linha de base de controle: no Qwen2.5-7B e no GloVe 300d, «queen» já é o vizinho mais próximo de «king» antes de qualquer aritmética, e no DeepSeek 7B a fórmula não move o ranking. A analogia que «funciona» é apenas proximidade entre palavras.
O que fazer na prática
Verifique comprimento e limites em tokens do modelo, e não em caracteres ou bytes. Rode os filtros contra variantes de Unicode: pontuação de largura total, caracteres combinantes, alfabetos misturados. Valide chamadas de ferramentas com um parser determinístico na saída, e não com um pedido no prompt de sistema. Se você opera um modelo multilíngue, inclua nos testes uma regressão do idioma da resposta: ele pode mudar por causa de um único caractere.
As limitações também merecem atenção. O experimento com a vírgula foi feito com saudações curtas, e a frase longa em inglês resistiu. Os números da API se referem a um único modelo e a uma única temperatura. Esta é a primeira parte de uma série: a seguir, o autor promete acompanhar o token pelas camadas de atenção e pelos blocos MLP.
- 18 de nov. de 2026IA encontra vulnerabilidades desconhecidas no V8 por US$4,24 e em 13 minutos; em fevereiro, não achou nada com US$350
- 18 de nov. de 2026Agentes de IA lançaram 228 releases de um jogo sem revisão humana; 25% das tarefas foram devolvidas pelos testes
- 18 de nov. de 2026Tencent Hy4 flash marcou 2,79 de 4 contra 2,81 do Haiku 5.5 e custa 18 vezes menos por tarefa
- 18 de nov. de 2026Ajuste fino de modelo NER eleva de 39,5% para 91,8% a taxa de segredos comerciais totalmente ocultados
Perguntas frequentes sobre a notícia
Como a vírgula muda o idioma da resposta?
O autor da análise fez três verificações. Primeiro, um experimento fatorial na API oficial do DeepSeek: dois tipos de vírgula, com e sem espaço, 100 requisições por variante, temperatura 0,7 e sem prompt de sistema. Com a vírgula comum, o chinês não apareceu nenhuma vez (0 de 200). Com a vírgula de largura total, apareceu em 95 de 100 respostas sem espaço e em 93 de 100 com espaço, ou seja, em 94% dos casos. O espaço não afeta o resultado.
O que se sabe sobre Brechas em filtros causadas pela tokenização?
A origem do problema é a distância entre o que o humano ou o filtro enxerga e o que o modelo recebe. Um tokenizador como o tiktoken primeiro divide o texto com expressões regulares, depois converte em bytes UTF-8 e aplica regras de fusão aprendidas previamente. A vírgula de largura total pode virar um único token (como no o200k_base) ou três fragmentos de bytes quebrados (como no antigo r50k_base). Disso decorrem ataques concretos: Inflação de tokens.
Por que as sondas de embeddings enganam?
A segunda parte da análise trata dos pesquisadores de interpretabilidade. Eles costumam procurar «direções» de conceitos na matriz de embeddings e acreditar na aritmética vetorial king − man + woman = queen. O autor testou isso no GloVe e em vários modelos modernos e encontrou quatro armadilhas. Primeiro, nos vocabulários BPE, «king» e « king» com espaço inicial são tokens diferentes. No Qwen3-8B, «queen» sem espaço aparece na posição 1733, enquanto com espaço aparece na primeira.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.