En vivo 18.11 · Cohorte 318 nov, 19:00 MSK — taller práctico gratuito de agentes IA · Cohorte 3 en vivo inicia 23.11Taller 18 nov →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

El tester vio un «precio» en la frase «hasta 2027»: 4 de 7 escenarios en rojo eran falsos

El autotest de un chatbot para amoCRM marcó como critical que el bot había «dado un precio», cuando el bot había escrito «la presentación hasta 2027». La expresión regular leyó el año como «hasta 2027 rublos». Basta un error así para que la ejecución se ponga en rojo y el bot no pase a producción. Al final del 15 de octubre, 4 de los 7 escenarios en rojo fallaban por culpa del propio tester. Antes de tocar el prompt, lea la respuesta completa y decida de quién es el bug: del entorno, del bot o del tester.

Procesado por IA desde Habr AI; editado por Hamidun News
El tester vio un «precio» en la frase «hasta 2027»: 4 de 7 escenarios en rojo eran falsos
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1El saludo de plantilla con una pregunta generó 68 infracciones de «dos preguntas en un mismo mensaje»
Dato clave #2gpt-5-mini superó limpiamente 15 de los 19 escenarios; gpt-5-nano, 10
Smoke test a lo largo del díade 0–2 escenarios en verde de 19 por la mañana a 17 de 19 por la noche

Imagine la situación: ha escrito un autotest para un chatbot, lo lanza antes del despliegue y recibe un informe en rojo con la marca critical: «el bot dio un precio». Abre el diálogo y encuentra la frase «presentar la solicitud hasta 2027 es perfectamente viable». No hay ningún precio: el tester tomó un año por una cantidad en rublos.

Eso es exactamente lo que ocurrió el 15 de octubre al equipo de Octery, que desarrolla bots para los chats de amoCRM. El informe contenía ocho infracciones de nivel critical, y hizo falta un día entero para averiguar cuáles eran reales. Para cualquiera que lleve bots basados en LLM a producción, la conclusión es sencilla: un test en rojo no equivale a un mal bot, y lo primero es averiguar quién tiene la culpa.

Cómo un año se convirtió en un precio

El bot responde a los leads en Telegram: saluda, averigua qué necesita la persona, pide un contacto y pasa la operación a un gerente. Ahora mismo el equipo prepara un piloto con una consultora de inmigración. Allí el bot no debe prometer resultados, dar precios ni hacerse pasar por abogado, y a la pregunta directa «¿eres un bot?» está obligado a responder «sí». De dinero habla solo el gerente, así que un precio dado por el bot se considera una infracción crítica, y una sola respuesta así basta para que la ejecución se cierre en rojo.

El tester funciona como una caja negra. Desde una cuenta aparte escribe al bot como un cliente normal, espera la respuesta y la comprueba con las reglas. No mira dentro del bot ni de amoCRM. Hay 162 escenarios: preguntas sobre la base de conocimiento, intentos de sacarle un precio o una garantía, preguntas legales, flood, insultos, cambios de idioma en mitad de la conversación y 42 «personas» con sus propias historias. El bot responde en promedio en 18–19 segundos, por lo que un smoke test rápido de 19 escenarios dura entre 36 y 45 minutos.

El «precio» lo encontró una expresión regular, un patrón de búsqueda en el texto: las palabras «от», «до», «около», «примерно», «порядка» («desde», «hasta», «alrededor de», «aproximadamente», «del orden de») seguidas de un número de tres cifras o más. «До 2027» encajaba. Del mismo modo detectaba «примерно 100 публикаций в год» («aproximadamente 100 publicaciones al año») y «от 2020 года» («desde el año 2020»). El error se reproduce offline en un minuto, pero nadie lo había comprobado antes del lanzamiento. La solución es simple: junto al número debe aparecer una moneda o una palabra como «стоит» («cuesta»), «цена» («precio») o «бюджет» («presupuesto»).

Otros dos errores del propio tester

Al primer mensaje el bot responde con dos burbujas: el saludo llega de inmediato y la respuesta del modelo, unos cinco segundos después. El tester recogía la respuesta con una ventana de silencio de nueve segundos, y si el modelo tardaba más, se iba con el saludo solo. De ahí el «respuesta vacía del bot» y un critical en el escenario «¿Son abogados?», donde el bot supuestamente no había remitido a la persona a un abogado. Sí lo hizo, pero en la segunda burbuja, que el tester no esperó.

El tercer error estaba en los propios requisitos. Para las personas había temas obligatorios: el bot debe preguntar por el ámbito, el objetivo y si ya hay un abogado. Pero otra regla prohibía repreguntar lo que el cliente ya había dicho. Una persona que en su primer mensaje escribe «trabajo con un abogado» dejaba al bot en un dilema: si preguntaba, repreguntaba; si no preguntaba, se saltaba un tema obligatorio. El tema «ámbito» figuraba en 30 escenarios y «ya hay abogado» en 24, y en todos ellos el bot podía perder respondiera lo que respondiera.

Balance del día: 14 ejecuciones y, por la noche, 7 escenarios seguían en rojo, 4 de los cuales fallaban por el exceso de rigidez del propio tester.

Cuando el tester tenía razón

La regla que más veces saltó a lo largo del día fue «dos preguntas en un mismo mensaje»: 68 veces. Al principio parecía locuacidad del modelo, algo que se corrige con el prompt. Pero en los diálogos la causa estaba en otro sitio: el saludo de plantilla no lo escribía el modelo y terminaba con la pregunta «¿Con qué consulta ha venido?». Justo después, el modelo respondía al mensaje del cliente y hacía su propia pregunta. Cada parte preguntaba una sola cosa por separado, pero la persona recibía dos preguntas seguidas. La plantilla la habían escrito ellos mismos y hacía tiempo que nadie la releía. Al quitar la pregunta del saludo, la infracción desapareció.

A lo largo del día, el smoke test pasó de 0–2 escenarios en verde de 19 por la mañana a 17 de 19 por la noche. En ese resultado influyeron el cambio de modelo, el embudo de preguntas reescrito, los ajustes de la plantilla y los ajustes del tester. Solo se pudo separar la contribución de cada uno porque cada fallo se analizó por separado.

El tester también ofreció una comparación honesta de modelos. En los mismos 19 escenarios, gpt-5-nano pasó limpiamente 10 y gpt-5-mini, 15. Subir el reasoning effort (la profundidad de razonamiento) de mini de low a medium no añadió ningún verde. Mini es más cara, pero por diálogo la diferencia son centavos, así que para el piloto eligieron mini. Sin el tester, la elección se habría hecho por la impresión de un par de conversaciones.

Cómo analizar un test en rojo

Antes de arreglar nada, el autor clasifica el fallo en tres cestas:

  • ENV: el entorno no respondió, el pipeline se cayó, Telegram no entregó el mensaje;
  • BOT: el bot respondió, y respondió mal;
  • TESTER: la regla saltó con una respuesta normal.

La tercera cesta casi siempre se delata por una cosa: lees la respuesta completa y no ves qué tiene de malo. Las respuestas de un LLM varían un poco cada vez, así que es fácil confundir un fallo del tester con una mala generación, y una mala generación con un fallo del tester. La regla práctica: leer primero el texto de la respuesta y solo después el nombre de la infracción. Si el informe dice «el bot dio un precio» y en la respuesta pone «2027 años», lo que hay que arreglar es el propio código.

La historia describe la experiencia de un solo proyecto y de un solo piloto, y el autor no da cifras del coste de un diálogo. Pero la conclusión es aplicable a cualquier equipo: ejecute las reglas offline sobre respuestas reales antes del lanzamiento, no ponga reglas obligatorias y prohibitivas en el mismo dilema y relea las partes de plantilla del bot con la misma atención que el prompt.

Historia

Preguntas frecuentes sobre la noticia

Cómo un año se convirtió en un precio?

El bot responde a los leads en Telegram: saluda, averigua qué necesita la persona, pide un contacto y pasa la operación a un gerente. Ahora mismo el equipo prepara un piloto con una consultora de inmigración. Allí el bot no debe prometer resultados, dar precios ni hacerse pasar por abogado, y a la pregunta directa «¿eres un bot?» está obligado a responder «sí».

¿Qué se sabe sobre Otros dos errores del propio tester?

Al primer mensaje el bot responde con dos burbujas: el saludo llega de inmediato y la respuesta del modelo, unos cinco segundos después. El tester recogía la respuesta con una ventana de silencio de nueve segundos, y si el modelo tardaba más, se iba con el saludo solo. De ahí el «respuesta vacía del bot» y un critical en el escenario «¿Son abogados?», donde el bot supuestamente no había remitido a la persona a un abogado. Sí lo hizo, pero en la segunda burbuja, que el tester no esperó.

¿Qué se sabe sobre Cuando el tester tenía razón?

La regla que más veces saltó a lo largo del día fue «dos preguntas en un mismo mensaje»: 68 veces. Al principio parecía locuacidad del modelo, algo que se corrige con el prompt. Pero en los diálogos la causa estaba en otro sitio: el saludo de plantilla no lo escribía el modelo y terminaba con la pregunta «¿Con qué consulta ha venido?». Justo después, el modelo respondía al mensaje del cliente y hacía su propia pregunta.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…