El tester vio un «precio» en la frase «hasta 2027»: 4 de 7 escenarios en rojo eran falsos
El autotest de un chatbot para amoCRM marcó como critical que el bot había «dado un precio», cuando el bot había escrito «la presentación hasta 2027». La expresión regular leyó el año como «hasta 2027 rublos». Basta un error así para que la ejecución se ponga en rojo y el bot no pase a producción. Al final del 15 de octubre, 4 de los 7 escenarios en rojo fallaban por culpa del propio tester. Antes de tocar el prompt, lea la respuesta completa y decida de quién es el bug: del entorno, del bot o del tester.
Procesado por IA desde Habr AI; editado por Hamidun News
Imagine la situación: ha escrito un autotest para un chatbot, lo lanza antes del despliegue y recibe un informe en rojo con la marca critical: «el bot dio un precio». Abre el diálogo y encuentra la frase «presentar la solicitud hasta 2027 es perfectamente viable». No hay ningún precio: el tester tomó un año por una cantidad en rublos.
Eso es exactamente lo que ocurrió el 15 de octubre al equipo de Octery, que desarrolla bots para los chats de amoCRM. El informe contenía ocho infracciones de nivel critical, y hizo falta un día entero para averiguar cuáles eran reales. Para cualquiera que lleve bots basados en LLM a producción, la conclusión es sencilla: un test en rojo no equivale a un mal bot, y lo primero es averiguar quién tiene la culpa.
Cómo un año se convirtió en un precio
El bot responde a los leads en Telegram: saluda, averigua qué necesita la persona, pide un contacto y pasa la operación a un gerente. Ahora mismo el equipo prepara un piloto con una consultora de inmigración. Allí el bot no debe prometer resultados, dar precios ni hacerse pasar por abogado, y a la pregunta directa «¿eres un bot?» está obligado a responder «sí». De dinero habla solo el gerente, así que un precio dado por el bot se considera una infracción crítica, y una sola respuesta así basta para que la ejecución se cierre en rojo.
El tester funciona como una caja negra. Desde una cuenta aparte escribe al bot como un cliente normal, espera la respuesta y la comprueba con las reglas. No mira dentro del bot ni de amoCRM. Hay 162 escenarios: preguntas sobre la base de conocimiento, intentos de sacarle un precio o una garantía, preguntas legales, flood, insultos, cambios de idioma en mitad de la conversación y 42 «personas» con sus propias historias. El bot responde en promedio en 18–19 segundos, por lo que un smoke test rápido de 19 escenarios dura entre 36 y 45 minutos.
El «precio» lo encontró una expresión regular, un patrón de búsqueda en el texto: las palabras «от», «до», «около», «примерно», «порядка» («desde», «hasta», «alrededor de», «aproximadamente», «del orden de») seguidas de un número de tres cifras o más. «До 2027» encajaba. Del mismo modo detectaba «примерно 100 публикаций в год» («aproximadamente 100 publicaciones al año») y «от 2020 года» («desde el año 2020»). El error se reproduce offline en un minuto, pero nadie lo había comprobado antes del lanzamiento. La solución es simple: junto al número debe aparecer una moneda o una palabra como «стоит» («cuesta»), «цена» («precio») o «бюджет» («presupuesto»).
Otros dos errores del propio tester
Al primer mensaje el bot responde con dos burbujas: el saludo llega de inmediato y la respuesta del modelo, unos cinco segundos después. El tester recogía la respuesta con una ventana de silencio de nueve segundos, y si el modelo tardaba más, se iba con el saludo solo. De ahí el «respuesta vacía del bot» y un critical en el escenario «¿Son abogados?», donde el bot supuestamente no había remitido a la persona a un abogado. Sí lo hizo, pero en la segunda burbuja, que el tester no esperó.
El tercer error estaba en los propios requisitos. Para las personas había temas obligatorios: el bot debe preguntar por el ámbito, el objetivo y si ya hay un abogado. Pero otra regla prohibía repreguntar lo que el cliente ya había dicho. Una persona que en su primer mensaje escribe «trabajo con un abogado» dejaba al bot en un dilema: si preguntaba, repreguntaba; si no preguntaba, se saltaba un tema obligatorio. El tema «ámbito» figuraba en 30 escenarios y «ya hay abogado» en 24, y en todos ellos el bot podía perder respondiera lo que respondiera.
Balance del día: 14 ejecuciones y, por la noche, 7 escenarios seguían en rojo, 4 de los cuales fallaban por el exceso de rigidez del propio tester.
Cuando el tester tenía razón
La regla que más veces saltó a lo largo del día fue «dos preguntas en un mismo mensaje»: 68 veces. Al principio parecía locuacidad del modelo, algo que se corrige con el prompt. Pero en los diálogos la causa estaba en otro sitio: el saludo de plantilla no lo escribía el modelo y terminaba con la pregunta «¿Con qué consulta ha venido?». Justo después, el modelo respondía al mensaje del cliente y hacía su propia pregunta. Cada parte preguntaba una sola cosa por separado, pero la persona recibía dos preguntas seguidas. La plantilla la habían escrito ellos mismos y hacía tiempo que nadie la releía. Al quitar la pregunta del saludo, la infracción desapareció.
A lo largo del día, el smoke test pasó de 0–2 escenarios en verde de 19 por la mañana a 17 de 19 por la noche. En ese resultado influyeron el cambio de modelo, el embudo de preguntas reescrito, los ajustes de la plantilla y los ajustes del tester. Solo se pudo separar la contribución de cada uno porque cada fallo se analizó por separado.
El tester también ofreció una comparación honesta de modelos. En los mismos 19 escenarios, gpt-5-nano pasó limpiamente 10 y gpt-5-mini, 15. Subir el reasoning effort (la profundidad de razonamiento) de mini de low a medium no añadió ningún verde. Mini es más cara, pero por diálogo la diferencia son centavos, así que para el piloto eligieron mini. Sin el tester, la elección se habría hecho por la impresión de un par de conversaciones.
Cómo analizar un test en rojo
Antes de arreglar nada, el autor clasifica el fallo en tres cestas:
- ENV: el entorno no respondió, el pipeline se cayó, Telegram no entregó el mensaje;
- BOT: el bot respondió, y respondió mal;
- TESTER: la regla saltó con una respuesta normal.
La tercera cesta casi siempre se delata por una cosa: lees la respuesta completa y no ves qué tiene de malo. Las respuestas de un LLM varían un poco cada vez, así que es fácil confundir un fallo del tester con una mala generación, y una mala generación con un fallo del tester. La regla práctica: leer primero el texto de la respuesta y solo después el nombre de la infracción. Si el informe dice «el bot dio un precio» y en la respuesta pone «2027 años», lo que hay que arreglar es el propio código.
La historia describe la experiencia de un solo proyecto y de un solo piloto, y el autor no da cifras del coste de un diálogo. Pero la conclusión es aplicable a cualquier equipo: ejecute las reglas offline sobre respuestas reales antes del lanzamiento, no ponga reglas obligatorias y prohibitivas en el mismo dilema y relea las partes de plantilla del bot con la misma atención que el prompt.
- 30 abr 2026Por qué el choque entre el Pentágono y Anthropic es una señal de alarma para las empresas que usan IA
- 13 oct 2026Sunak: en 2027 las tecnológicas emitirán más deuda neta a largo plazo que EE. UU.
- 12 nov 2026Los autores de AI 2027 revisan su pronóstico: la IA lleva cinco meses de ventaja sobre su escenario
- 1 sept 2026Apple escondió la nueva interfaz de Siri en el teaser de la WWDC, mientras la escasez de memoria frena los nuevos Mac
Preguntas frecuentes sobre la noticia
Cómo un año se convirtió en un precio?
El bot responde a los leads en Telegram: saluda, averigua qué necesita la persona, pide un contacto y pasa la operación a un gerente. Ahora mismo el equipo prepara un piloto con una consultora de inmigración. Allí el bot no debe prometer resultados, dar precios ni hacerse pasar por abogado, y a la pregunta directa «¿eres un bot?» está obligado a responder «sí».
¿Qué se sabe sobre Otros dos errores del propio tester?
Al primer mensaje el bot responde con dos burbujas: el saludo llega de inmediato y la respuesta del modelo, unos cinco segundos después. El tester recogía la respuesta con una ventana de silencio de nueve segundos, y si el modelo tardaba más, se iba con el saludo solo. De ahí el «respuesta vacía del bot» y un critical en el escenario «¿Son abogados?», donde el bot supuestamente no había remitido a la persona a un abogado. Sí lo hizo, pero en la segunda burbuja, que el tester no esperó.
¿Qué se sabe sobre Cuando el tester tenía razón?
La regla que más veces saltó a lo largo del día fue «dos preguntas en un mismo mensaje»: 68 veces. Al principio parecía locuacidad del modelo, algo que se corrige con el prompt. Pero en los diálogos la causa estaba en otro sitio: el saludo de plantilla no lo escribía el modelo y terminaba con la pregunta «¿Con qué consulta ha venido?». Justo después, el modelo respondía al mensaje del cliente y hacía su propia pregunta.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.