100 repetições do ChatGPT reduzem o erro de medição da visibilidade de um site para ±10 pontos

Ontem o ChatGPT citou o seu site; hoje, para a mesma pergunta, não há link. Isso ainda não significa que o site perdeu posições. As respostas da IA de busca mudam de uma execução para outra: o modelo reformula a pergunta original, envia várias consultas de busca internas, obtém páginas diferentes e, a partir delas, monta a resposta.

Por isso, uma única execução dá apenas um «sim» ou um «não». Ela não mostra com que frequência o site aparece nas respostas. Para um desenvolvedor de análise de dados, uma equipe de produto ou o dono de um negócio, é mais útil outra métrica: a proporção de repetições em que o domínio esteve entre as fontes, junto com a faixa de incerteza estatística.

Uma resposta não mede nada

Imaginemos que um site realmente apareça em 30% das respostas. Em qualquer execução individual, a probabilidade de não vê-lo é de 70%. O link pode ter estado lá ontem e desaparecido hoje sem qualquer mudança no site, no modelo ou no índice de busca.

Para obter um número, é preciso fazer a mesma pergunta muitas vezes em condições idênticas. Se o domínio apareceu em 6 respostas de 20, a visibilidade observada é de 30%. Mas a amostra é pequena: o intervalo de Wilson de 95% ficaria aproximadamente entre 15% e 52%. Em outras palavras, o resultado ainda é compatível tanto com uma aparição rara do site quanto com a presença em quase uma de cada duas respostas.

Com 30 acertos em 100, a proporção continua a mesma, 30%, mas o intervalo se estreita para cerca de 22–40%. Uma medição assim já é visivelmente mais útil para comparar períodos e testar hipóteses.

Aqui o intervalo de Wilson é mais conveniente do que a fórmula simples de «proporção mais ou menos erro padrão». Em amostras pequenas e com acertos raros, a fórmula simples pode gerar um limite inferior negativo sem sentido. O intervalo de Wilson permanece dentro da faixa de 0% a 100% e se comporta melhor com poucas observações.

Quantas execuções são necessárias

O número de repetições depende do erro admissível. Com confiança de 95%, uma estimativa conservadora dá cerca de 25 execuções para um erro de ±20 pontos percentuais, 43 para ±15 pontos, 97 para ±10 pontos e 385 para ±5 pontos. O cálculo pressupõe uma proporção de 50%, que exige a maior amostra; para um site que aparece raramente, o intervalo real pode ser mais estreito.

Um compromisso prático é fazer de 60 a 100 repetições para cada pergunta importante. Cem execuções dão um erro de aproximadamente ±10 pontos no pior caso. Se houver menos de 25 execuções, o relatório serve mais para exploração do que para uma conclusão segura sobre crescimento ou queda.

Antes de iniciar, é preciso fixar literalmente a pergunta, a região, o estado da memória, o modelo e o critério de acerto. Decida separadamente se você conta apenas o link visível ao usuário ou qualquer página que o sistema consultou durante a busca. O critério não pode ser alterado entre as medições.

API e chat mostram coisas diferentes

Uma medição via API não reflete necessariamente o que a pessoa vê na interface do ChatGPT. A API pode retornar uma lista completa das páginas consultadas, enquanto o chat mostra apenas parte das citações. Além disso, o modelo às vezes decide não recorrer à busca. Registrar essa resposta como erro é admissível, mas a regra deve ser a mesma em todas as séries.

Por isso, o relatório deve indicar o canal de medição. A proporção obtida a partir das fontes internas da API não pode ser chamada, sem ressalvas, de visibilidade do usuário no ChatGPT.

Comparar dois períodos apenas pela sobreposição ou não dos intervalos individuais também não basta: é uma verificação aproximada conveniente, mas não um teste completo da diferença entre proporções. Para uma decisão importante, é melhor guardar os resultados originais e aplicar um teste estatístico que leve em conta as duas amostras.

O mínimo prático de um relatório é simples: a pergunta exata, as condições de execução, o número de repetições, o número de acertos, a proporção e o intervalo de 95%. Se um prestador mostra uma resposta bem-sucedida ou um único número final sem o tamanho da amostra, isso é uma demonstração, não uma medição.