Testador viu um “preço” em “até 2027”: 4 dos 7 cenários vermelhos eram falsos
O autoteste de um chatbot para amoCRM marcou critical por “preço informado”, embora o bot tivesse escrito “o pedido até 2027”: a regex leu o ano como “até 2027 rublos”. Um erro desses basta para a rodada ficar vermelha e o bot não ir para produção. Até a noite de 15 de outubro, 4 dos 7 cenários vermelhos falhavam por culpa do próprio testador. Antes de mexer no prompt, leia a resposta inteira e decida de quem é o bug: do ambiente, do bot ou do testador.
Processado por IA de Habr AI; editado por Hamidun News
Imagine a situação: você escreveu um autoteste para um chatbot, rodou antes do deploy e recebeu um relatório vermelho com a marca critical: “o bot informou um preço”. Você abre a conversa e vê a frase “o pedido até 2027 é perfeitamente viável”. Não há preço nenhum ali: o testador tomou um ano por um valor em rublos.
Foi exatamente isso que aconteceu em 15 de outubro com a equipe da Octery, que desenvolve bots para chats do amoCRM. O relatório trazia oito violações de nível critical, e um dia inteiro foi gasto para descobrir quais eram reais. Para quem coloca bots com LLM em produção, a conclusão é simples: teste vermelho não significa bot ruim, e antes de tudo é preciso descobrir quem errou.
Como um ano virou preço
O bot responde a leads no Telegram: cumprimenta, descobre o que a pessoa precisa, pede um contato e passa a negociação para um gerente. A equipe prepara agora um piloto com uma consultoria de imigração. Nesse cenário, o bot não deve prometer resultado, informar preços nem se passar por advogado, e, diante da pergunta direta “você é um bot?”, é obrigado a responder “sim”. Quem fala de dinheiro é só o gerente, por isso um preço informado pelo bot conta como violação crítica, e uma única resposta assim basta para a rodada fechar no vermelho.
O testador funciona como uma caixa-preta. De uma conta separada, ele escreve ao bot como um cliente comum, espera a resposta e a confere com as regras. Não olha por dentro do bot nem do amoCRM. São 162 cenários: perguntas sobre a base de conhecimento, tentativas de arrancar um preço ou uma garantia, perguntas jurídicas, flood, palavrões, troca de idioma no meio da conversa e 42 “personas” com histórias próprias. O bot responde em média em 18–19 segundos, então um smoke test rápido de 19 cenários leva de 36 a 45 minutos.
O “preço” foi encontrado por uma regex, um padrão de busca no texto: as palavras “от”, “до”, “около”, “примерно”, “порядка” (equivalentes a “a partir de”, “até”, “cerca de”, “aproximadamente”, “na casa de”) seguidas de um número com três dígitos ou mais. “До 2027” se encaixou no padrão. Do mesmo modo, ela pegava “примерно 100 публикаций в год” e “от 2020 года”. O problema se reproduz offline em um minuto, mas ninguém o verificou antes do lançamento. A correção é simples: ao lado do número deve haver uma moeda ou uma palavra como “custa”, “preço” ou “orçamento”.
Mais dois erros do próprio testador
A primeira mensagem recebe duas respostas em balões separados: a saudação chega na hora, e a resposta do modelo, uns cinco segundos depois. O testador montava a resposta por uma janela de silêncio de nove segundos e, se o modelo demorava mais, ia embora só com a saudação. Daí vieram o “resposta vazia do bot” e um critical no cenário “Vocês são advogados?”, em que o bot supostamente não encaminhou a pessoa a um advogado. Ele encaminhou, mas no segundo balão, que o testador não esperou.
O terceiro erro estava embutido nos requisitos. As personas tinham temas obrigatórios: o bot precisa perguntar sobre a área, o objetivo e se a pessoa já tem advogado. Ao mesmo tempo, outra regra proibia repetir uma pergunta sobre algo que o cliente já havia dito. Uma persona que escrevia “trabalho com um advogado” já na primeira mensagem colocava o bot num beco sem saída: se perguntasse, estaria repetindo; se não perguntasse, estaria pulando um tema obrigatório. O tema “área” aparecia em 30 cenários e “já tem” em 24, e em todos eles o bot podia perder qualquer que fosse a resposta.
Balanço do dia: 14 rodadas e, à noite, 7 cenários ainda vermelhos, 4 deles por causa do rigor do próprio testador.
Quando o testador estava certo
A regra que mais disparou ao longo do dia foi “duas perguntas na mesma mensagem”: 68 vezes. De início, parecia verborragia do modelo, algo a corrigir no prompt. Mas, nas conversas, a causa era outra: a saudação padrão não era escrita pelo modelo e terminava com a pergunta “Com que solicitação você chegou até nós?”. Logo depois dela, o modelo respondia à mensagem do cliente e fazia a sua própria pergunta. Cada parte, isoladamente, perguntava uma coisa só, mas a pessoa recebia duas perguntas seguidas. O template foi escrito pela própria equipe e não era relido havia muito tempo. Quando a pergunta saiu da saudação, a violação desapareceu.
Ao longo do dia, o smoke test passou de 0–2 verdes em 19 pela manhã para 17 em 19 à noite. Esse resultado reúne a troca de modelo, o funil de perguntas reescrito, os ajustes no template e os ajustes no testador. Só foi possível separar a contribuição de cada um porque cada falha foi analisada individualmente.
O testador também permitiu uma comparação honesta entre modelos. Nos mesmos 19 cenários, o gpt-5-nano passou limpo em 10, e o gpt-5-mini, em 15. Subir o reasoning effort (profundidade de raciocínio) do mini de low para medium não acrescentou verdes. O mini é mais caro, mas por conversa a diferença é de centavos, então o piloto ficou com ele. Sem o testador, a escolha seria feita pela impressão de algumas conversas.
Como analisar um resultado vermelho
Antes de consertar qualquer coisa, o autor separa a falha em três categorias:
- ENV: o ambiente não respondeu, o pipeline caiu, o Telegram não entregou a mensagem;
- BOT: o bot respondeu, e respondeu errado;
- TESTER: a regra disparou numa resposta normal.
A terceira categoria quase sempre se denuncia por uma coisa: você lê a resposta inteira e não vê o que há de errado nela. As respostas de LLM variam um pouco a cada vez, então é fácil confundir uma falha do testador com uma geração ruim e uma geração ruim com uma falha do testador. A regra prática é ler primeiro o texto da resposta e só depois o nome da violação. Se o relatório diz “o bot informou um preço” e a resposta diz “2027 anos”, o que precisa ser corrigido é o seu próprio código.
A história descreve a experiência de um único projeto e de um único piloto, e o autor não informa o custo de uma conversa em números. Mas a conclusão vale para qualquer equipe: rode as regras offline em respostas reais antes do lançamento, não coloque regras obrigatórias e proibitivas no mesmo beco sem saída e releia os trechos de template do bot com a mesma atenção dedicada ao prompt.
- 30 de abr. de 2026Por que o conflito entre o Pentágono e a Anthropic virou um alerta para empresas que usam IA
- 13 de out. de 2026Sunak: big techs vão emitir mais dívida de longo prazo que os EUA em 2027
- 12 de nov. de 2026Autores do AI 2027 revisam previsão: IA está cinco meses à frente de seu cenário
- 1 de set. de 2026Apple escondeu a nova interface da Siri no teaser da WWDC, e a escassez de memória atrasa novos Macs
Perguntas frequentes sobre a notícia
Como um ano virou preço?
O bot responde a leads no Telegram: cumprimenta, descobre o que a pessoa precisa, pede um contato e passa a negociação para um gerente. A equipe prepara agora um piloto com uma consultoria de imigração. Nesse cenário, o bot não deve prometer resultado, informar preços nem se passar por advogado, e, diante da pergunta direta “você é um bot?”, é obrigado a responder “sim”.
O que se sabe sobre Mais dois erros do próprio testador?
A primeira mensagem recebe duas respostas em balões separados: a saudação chega na hora, e a resposta do modelo, uns cinco segundos depois. O testador montava a resposta por uma janela de silêncio de nove segundos e, se o modelo demorava mais, ia embora só com a saudação. Daí vieram o “resposta vazia do bot” e um critical no cenário “Vocês são advogados?”, em que o bot supostamente não encaminhou a pessoa a um advogado. Ele encaminhou, mas no segundo balão, que o testador não esperou.
Quando o testador estava certo?
A regra que mais disparou ao longo do dia foi “duas perguntas na mesma mensagem”: 68 vezes. De início, parecia verborragia do modelo, algo a corrigir no prompt. Mas, nas conversas, a causa era outra: a saudação padrão não era escrita pelo modelo e terminava com a pergunta “Com que solicitação você chegou até nós?”. Logo depois dela, o modelo respondia à mensagem do cliente e fazia a sua própria pergunta. Cada parte, isoladamente, perguntava uma coisa só, mas a pessoa recebia duas perguntas seguidas.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.