Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Testador viu um “preço” em “até 2027”: 4 dos 7 cenários vermelhos eram falsos

O autoteste de um chatbot para amoCRM marcou critical por “preço informado”, embora o bot tivesse escrito “o pedido até 2027”: a regex leu o ano como “até 2027 rublos”. Um erro desses basta para a rodada ficar vermelha e o bot não ir para produção. Até a noite de 15 de outubro, 4 dos 7 cenários vermelhos falhavam por culpa do próprio testador. Antes de mexer no prompt, leia a resposta inteira e decida de quem é o bug: do ambiente, do bot ou do testador.

Processado por IA de Habr AI; editado por Hamidun News
Testador viu um “preço” em “até 2027”: 4 dos 7 cenários vermelhos eram falsos
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1A saudação padrão com uma pergunta gerou 68 violações de “duas perguntas em uma”
Dado-chave #2O gpt-5-mini passou limpo em 15 dos 19 cenários; o gpt-5-nano, em 10
Smoke test ao longo do diade 0–2 verdes em 19 pela manhã para 17 em 19 à noite

Imagine a situação: você escreveu um autoteste para um chatbot, rodou antes do deploy e recebeu um relatório vermelho com a marca critical: “o bot informou um preço”. Você abre a conversa e vê a frase “o pedido até 2027 é perfeitamente viável”. Não há preço nenhum ali: o testador tomou um ano por um valor em rublos.

Foi exatamente isso que aconteceu em 15 de outubro com a equipe da Octery, que desenvolve bots para chats do amoCRM. O relatório trazia oito violações de nível critical, e um dia inteiro foi gasto para descobrir quais eram reais. Para quem coloca bots com LLM em produção, a conclusão é simples: teste vermelho não significa bot ruim, e antes de tudo é preciso descobrir quem errou.

Como um ano virou preço

O bot responde a leads no Telegram: cumprimenta, descobre o que a pessoa precisa, pede um contato e passa a negociação para um gerente. A equipe prepara agora um piloto com uma consultoria de imigração. Nesse cenário, o bot não deve prometer resultado, informar preços nem se passar por advogado, e, diante da pergunta direta “você é um bot?”, é obrigado a responder “sim”. Quem fala de dinheiro é só o gerente, por isso um preço informado pelo bot conta como violação crítica, e uma única resposta assim basta para a rodada fechar no vermelho.

O testador funciona como uma caixa-preta. De uma conta separada, ele escreve ao bot como um cliente comum, espera a resposta e a confere com as regras. Não olha por dentro do bot nem do amoCRM. São 162 cenários: perguntas sobre a base de conhecimento, tentativas de arrancar um preço ou uma garantia, perguntas jurídicas, flood, palavrões, troca de idioma no meio da conversa e 42 “personas” com histórias próprias. O bot responde em média em 18–19 segundos, então um smoke test rápido de 19 cenários leva de 36 a 45 minutos.

O “preço” foi encontrado por uma regex, um padrão de busca no texto: as palavras “от”, “до”, “около”, “примерно”, “порядка” (equivalentes a “a partir de”, “até”, “cerca de”, “aproximadamente”, “na casa de”) seguidas de um número com três dígitos ou mais. “До 2027” se encaixou no padrão. Do mesmo modo, ela pegava “примерно 100 публикаций в год” e “от 2020 года”. O problema se reproduz offline em um minuto, mas ninguém o verificou antes do lançamento. A correção é simples: ao lado do número deve haver uma moeda ou uma palavra como “custa”, “preço” ou “orçamento”.

Mais dois erros do próprio testador

A primeira mensagem recebe duas respostas em balões separados: a saudação chega na hora, e a resposta do modelo, uns cinco segundos depois. O testador montava a resposta por uma janela de silêncio de nove segundos e, se o modelo demorava mais, ia embora só com a saudação. Daí vieram o “resposta vazia do bot” e um critical no cenário “Vocês são advogados?”, em que o bot supostamente não encaminhou a pessoa a um advogado. Ele encaminhou, mas no segundo balão, que o testador não esperou.

O terceiro erro estava embutido nos requisitos. As personas tinham temas obrigatórios: o bot precisa perguntar sobre a área, o objetivo e se a pessoa já tem advogado. Ao mesmo tempo, outra regra proibia repetir uma pergunta sobre algo que o cliente já havia dito. Uma persona que escrevia “trabalho com um advogado” já na primeira mensagem colocava o bot num beco sem saída: se perguntasse, estaria repetindo; se não perguntasse, estaria pulando um tema obrigatório. O tema “área” aparecia em 30 cenários e “já tem” em 24, e em todos eles o bot podia perder qualquer que fosse a resposta.

Balanço do dia: 14 rodadas e, à noite, 7 cenários ainda vermelhos, 4 deles por causa do rigor do próprio testador.

Quando o testador estava certo

A regra que mais disparou ao longo do dia foi “duas perguntas na mesma mensagem”: 68 vezes. De início, parecia verborragia do modelo, algo a corrigir no prompt. Mas, nas conversas, a causa era outra: a saudação padrão não era escrita pelo modelo e terminava com a pergunta “Com que solicitação você chegou até nós?”. Logo depois dela, o modelo respondia à mensagem do cliente e fazia a sua própria pergunta. Cada parte, isoladamente, perguntava uma coisa só, mas a pessoa recebia duas perguntas seguidas. O template foi escrito pela própria equipe e não era relido havia muito tempo. Quando a pergunta saiu da saudação, a violação desapareceu.

Ao longo do dia, o smoke test passou de 0–2 verdes em 19 pela manhã para 17 em 19 à noite. Esse resultado reúne a troca de modelo, o funil de perguntas reescrito, os ajustes no template e os ajustes no testador. Só foi possível separar a contribuição de cada um porque cada falha foi analisada individualmente.

O testador também permitiu uma comparação honesta entre modelos. Nos mesmos 19 cenários, o gpt-5-nano passou limpo em 10, e o gpt-5-mini, em 15. Subir o reasoning effort (profundidade de raciocínio) do mini de low para medium não acrescentou verdes. O mini é mais caro, mas por conversa a diferença é de centavos, então o piloto ficou com ele. Sem o testador, a escolha seria feita pela impressão de algumas conversas.

Como analisar um resultado vermelho

Antes de consertar qualquer coisa, o autor separa a falha em três categorias:

  • ENV: o ambiente não respondeu, o pipeline caiu, o Telegram não entregou a mensagem;
  • BOT: o bot respondeu, e respondeu errado;
  • TESTER: a regra disparou numa resposta normal.

A terceira categoria quase sempre se denuncia por uma coisa: você lê a resposta inteira e não vê o que há de errado nela. As respostas de LLM variam um pouco a cada vez, então é fácil confundir uma falha do testador com uma geração ruim e uma geração ruim com uma falha do testador. A regra prática é ler primeiro o texto da resposta e só depois o nome da violação. Se o relatório diz “o bot informou um preço” e a resposta diz “2027 anos”, o que precisa ser corrigido é o seu próprio código.

A história descreve a experiência de um único projeto e de um único piloto, e o autor não informa o custo de uma conversa em números. Mas a conclusão vale para qualquer equipe: rode as regras offline em respostas reais antes do lançamento, não coloque regras obrigatórias e proibitivas no mesmo beco sem saída e releia os trechos de template do bot com a mesma atenção dedicada ao prompt.

História

Perguntas frequentes sobre a notícia

Como um ano virou preço?

O bot responde a leads no Telegram: cumprimenta, descobre o que a pessoa precisa, pede um contato e passa a negociação para um gerente. A equipe prepara agora um piloto com uma consultoria de imigração. Nesse cenário, o bot não deve prometer resultado, informar preços nem se passar por advogado, e, diante da pergunta direta “você é um bot?”, é obrigado a responder “sim”.

O que se sabe sobre Mais dois erros do próprio testador?

A primeira mensagem recebe duas respostas em balões separados: a saudação chega na hora, e a resposta do modelo, uns cinco segundos depois. O testador montava a resposta por uma janela de silêncio de nove segundos e, se o modelo demorava mais, ia embora só com a saudação. Daí vieram o “resposta vazia do bot” e um critical no cenário “Vocês são advogados?”, em que o bot supostamente não encaminhou a pessoa a um advogado. Ele encaminhou, mas no segundo balão, que o testador não esperou.

Quando o testador estava certo?

A regra que mais disparou ao longo do dia foi “duas perguntas na mesma mensagem”: 68 vezes. De início, parecia verborragia do modelo, algo a corrigir no prompt. Mas, nas conversas, a causa era outra: a saudação padrão não era escrita pelo modelo e terminava com a pergunta “Com que solicitação você chegou até nós?”. Logo depois dela, o modelo respondia à mensagem do cliente e fazia a sua própria pergunta. Cada parte, isoladamente, perguntava uma coisa só, mas a pessoa recebia duas perguntas seguidas.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…