El contexto de la conversación cambia en más de la mitad las listas de CRM generadas por la IA

Pregunte a una IA qué CRM debería elegir una empresa rusa y obtendrá una lista de productos conocidos. Añada antes de la misma pregunta un par de frases sobre el tamaño del departamento comercial o un ciclo de ventas largo, y la lista cambiará de forma notable. Si menciona de antemano una marca concreta, es muy probable que también aparezca en la respuesta final.

Esto parece obvio hasta que las empresas empiezan a reducir su “visibilidad en la IA” a una sola cifra. Entonces, las respuestas sin pistas y las obtenidas después de hablar de una marca suelen terminar en el mismo informe. Un piloto dirigido por Andrey Kruzhkov, responsable de Pragmatix Digital, muestra por qué esa mezcla distorsiona el resultado.

Una pregunta, cinco contextos previos distintos

En el experimento participaron ChatGPT, Perplexity y Alice AI. A cada sistema se le planteó la misma pregunta: qué CRM consideraría para una empresa en Rusia. Lo único que cambiaba era la conversación previa.

En el escenario de control, la pregunta se formulaba de inmediato. En los demás chats, antes se describía una pequeña empresa B2B, se hablaba de un ciclo de ventas largo, se mencionaba BPMSoft o se debatían inicialmente los CRM propuestos por la propia IA. Cada escenario se repitió tres veces con cada sistema, para un total de 45 conversaciones.

Para comparar las listas, el autor utilizó el coeficiente de Jaccard: la proporción de productos comunes respecto al conjunto de todos los CRM únicos presentes en dos respuestas. Si las listas coinciden por completo, el resultado es del 100%.

Sin contexto previo, las respuestas de un mismo sistema fueron relativamente consistentes: la similitud entre las tres selecciones de control fue del 83% en ChatGPT, del 91% en Perplexity y del 67% en Alice. Sin embargo, tras describir la empresa, la composición cambió más. En el escenario de un equipo pequeño, la similitud con el control cayó al 48% en ChatGPT, al 23% en Perplexity y al 51% en Alice. La descripción de un ciclo de ventas largo produjo un 62%, un 59% y un 46%, respectivamente.

Un ejemplo sencillo: el usuario no modificó la pregunta sobre el CRM; solo había indicado antes que el equipo comercial tenía ocho personas y que no convenía una implantación compleja. Eso bastó para que ChatGPT y Perplexity reorganizaran sus selecciones con más intensidad que la variación habitual entre respuestas repetidas.

Mencionar una marca cambia el significado de la métrica

El resultado más claro apareció en el escenario con BPMSoft. El usuario primero decía que un colega había mencionado ese producto, después pedía examinar el mercado en un sentido más amplio y solo entonces planteaba la pregunta general sobre CRM.

BPMSoft apareció en las nueve selecciones finales: tres respuestas de cada sistema de IA. En los tres casos de ChatGPT, el producto ocupó el primer lugar de la lista, aunque en las respuestas de control esa posición correspondía a Bitrix24. La frecuencia de aparición de BPMSoft aumentó de dos a tres casos en ChatGPT y de uno a tres en Alice; en Perplexity no cambió.

Pero esto no puede considerarse una prueba de alta visibilidad independiente de la marca. El nombre ya estaba en el contexto y, en una de las conversaciones, ChatGPT incluso tuvo tiempo de explicar qué era BPMSoft y comentar el mercado de BPM y low-code. El experimento midió la reacción a toda la conversación, no solo a la última pregunta.

De ahí surge una distinción importante. La primera métrica responde a si el modelo mencionará el producto sin pistas ante una consulta general. La segunda muestra si conservará en la recomendación final un producto ya mencionado. Son tareas diferentes y resulta arriesgado reunirlas en un único indicador.

Cómo realizar este tipo de pruebas

Para obtener una medición GEO útil, deben fijarse de antemano el escenario, el modelo, el modo de búsqueda, la redacción, las reglas de etiquetado y el número de repeticiones. Hay que conservar toda la conversación: las respuestas intermedias también influyen en las posteriores. Deben probarse por separado un chat nuevo sin historial y una conversación en la que la marca ya haya sido mencionada.

El piloto tiene limitaciones. Solo hubo tres ejecuciones por escenario y todas se realizaron en un único día. No se comprobó la variación entre días ni se separó la influencia del contenido de los requisitos de la forma de presentarlos. En una ejecución de ChatGPT incluso fue distinto el modo de búsqueda web. Por tanto, las cifras muestran la dirección del efecto, pero no su magnitud estable.

La conclusión práctica para los equipos de producto y marketing es sencilla: el contexto forma parte de la prueba, no es ruido de fondo. Si no se guarda junto con la respuesta, el informe de visibilidad de marca se convierte en una mezcla de recomendaciones independientes, pistas del usuario y variación aleatoria del modelo.