O contexto da conversa altera mais da metade das listas de CRM geradas por IA

Pergunte a uma IA qual CRM uma empresa russa deveria escolher e você receberá uma lista de produtos conhecidos. Antes da mesma pergunta, acrescente algumas frases sobre o tamanho da equipe de vendas ou sobre um ciclo de vendas longo, e a lista mudará de forma perceptível. Se uma marca específica for citada antecipadamente, é muito provável que ela também apareça na resposta final.

Isso parece óbvio até que as empresas começam a resumir sua “visibilidade na IA” a um único número. Nesse momento, respostas sem qualquer pista e respostas obtidas depois de uma discussão sobre a marca frequentemente acabam no mesmo relatório. Um piloto conduzido por Andrey Kruzhkov, diretor da Pragmatix Digital, mostra por que essa mistura distorce o resultado.

Uma pergunta, cinco contextos anteriores diferentes

O experimento envolveu ChatGPT, Perplexity e Alice AI. Cada sistema recebeu a mesma pergunta: quais CRMs consideraria para uma empresa na Rússia. Apenas a conversa anterior era alterada.

No cenário de controle, a pergunta era feita imediatamente. Nos outros chats, ela era precedida pela descrição de uma pequena empresa B2B, por informações sobre um ciclo de vendas longo, por uma menção à BPMSoft ou por uma discussão inicial sobre os CRMs sugeridos pela própria IA. Cada cenário foi repetido três vezes em cada sistema, totalizando 45 conversas.

Para comparar as listas, o autor usou o coeficiente de Jaccard: a proporção de produtos em comum entre todos os CRMs únicos presentes em duas respostas. Se as listas coincidirem por completo, o resultado será de 100%.

Sem contexto prévio, as respostas do mesmo sistema foram relativamente consistentes: a semelhança entre as três seleções de controle foi de 83% no ChatGPT, 91% no Perplexity e 67% no Alice. Após a descrição da empresa, porém, a composição mudou de forma mais acentuada. No cenário de uma equipe pequena, a semelhança com o controle caiu para 48% no ChatGPT, 23% no Perplexity e 51% no Alice. A descrição de um ciclo de vendas longo resultou, respectivamente, em 62%, 59% e 46%.

Um exemplo simples: o usuário não alterou a pergunta sobre CRM; apenas havia informado antes que oito pessoas trabalhavam na equipe de vendas e que uma implementação complexa não era desejável. Isso bastou para que ChatGPT e Perplexity reorganizassem suas seleções com mais intensidade do que na variação normal entre respostas repetidas.

Mencionar uma marca muda o significado da métrica

O resultado mais evidente surgiu no cenário com a BPMSoft. Primeiro, o usuário dizia que um colega havia mencionado o produto; depois, pedia uma análise mais ampla do mercado; e só então fazia a pergunta geral sobre CRM.

A BPMSoft apareceu em todas as nove seleções finais: três respostas de cada sistema de IA. Nos três casos do ChatGPT, o produto ficou em primeiro lugar na lista, embora o Bitrix24 ocupasse essa posição nas respostas de controle. A frequência de aparição da BPMSoft aumentou de dois para três casos no ChatGPT e de um para três no Alice; no Perplexity, permaneceu inalterada.

Mas isso não pode ser considerado uma prova de alta visibilidade independente da marca. O nome já estava presente no contexto e, em uma das conversas, o ChatGPT chegou a explicar o que era a BPMSoft e a discutir o mercado de BPM e low-code. O experimento mediu a reação à conversa inteira, não apenas à última pergunta.

Daí surge uma distinção importante. A primeira métrica responde se o modelo mencionará o produto sem qualquer pista diante de uma consulta geral. A segunda mostra se ele manterá na recomendação final um produto já citado. São tarefas diferentes, e reuni-las em um único indicador é arriscado.

Como realizar testes desse tipo

Para uma medição GEO útil, é preciso definir antecipadamente o cenário, o modelo, o modo de busca, a redação, as regras de classificação e o número de repetições. A conversa inteira deve ser preservada, pois as respostas intermediárias também influenciam os resultados seguintes. Um novo chat sem histórico e uma conversa em que a marca já tenha sido mencionada devem ser testados separadamente.

O piloto tem limitações. Houve apenas três execuções por cenário, todas realizadas em um único dia. A variação entre dias não foi testada, e a influência do conteúdo dos requisitos não foi separada da forma como eles foram apresentados. Em uma das execuções do ChatGPT, até o modo de busca na web foi diferente. Portanto, os números mostram a direção do efeito, mas não sua magnitude estável.

A conclusão prática para as equipes de produto e marketing é simples: o contexto faz parte do teste, não é ruído de fundo. Se ele não for armazenado junto com a resposta, o relatório de visibilidade de marca se transforma em uma mistura de recomendações independentes, pistas fornecidas pelo usuário e variação aleatória do modelo.