100 repeticiones de ChatGPT reducen el error de medición de visibilidad web a ±10 puntos

Ayer ChatGPT citó su sitio; hoy, ante la misma pregunta, no aparece ningún enlace. Eso todavía no significa que el sitio haya perdido posiciones. Las respuestas de la IA de búsqueda cambian de una ejecución a otra: el modelo reformula la pregunta original, envía varias consultas de búsqueda internas, obtiene páginas distintas y a partir de ellas construye la respuesta.

Por eso, una sola ejecución solo da un «sí» o un «no». No muestra con qué frecuencia aparece el sitio en las respuestas. Para un desarrollador de analítica, un equipo de producto o el dueño de un negocio, resulta más útil otra métrica: la proporción de repeticiones en las que el dominio figuró entre las fuentes, junto con el rango de incertidumbre estadística.

Una sola respuesta no mide nada

Imaginemos que un sitio aparece en realidad en el 30% de las respuestas. En cualquier ejecución individual, la probabilidad de no verlo es del 70%. El enlace pudo estar ayer y desaparecer hoy sin ningún cambio en el sitio, en el modelo o en el índice de búsqueda.

Para obtener una cifra, hay que formular la misma pregunta muchas veces en condiciones idénticas. Si el dominio apareció en 6 respuestas de 20, la visibilidad observada es del 30%. Pero la muestra es pequeña: el intervalo de Wilson del 95% iría aproximadamente del 15% al 52%. Es decir, el resultado es compatible tanto con una aparición poco frecuente del sitio como con su presencia en casi una de cada dos respuestas.

Con 30 aciertos de 100, la proporción sigue siendo la misma, el 30%, pero el intervalo se estrecha hasta aproximadamente el 22–40%. Una medición así ya resulta notablemente más útil para comparar periodos y contrastar hipótesis.

Aquí el intervalo de Wilson es más conveniente que la fórmula simple de «proporción más/menos error estándar». Con muestras pequeñas y aciertos poco frecuentes, la fórmula simple puede dar un límite inferior negativo sin sentido. El intervalo de Wilson permanece dentro del rango de 0% a 100% y se comporta mejor con pocas observaciones.

Cuántas ejecuciones se necesitan

El número de repeticiones depende del error admisible. Con una confianza del 95%, una estimación conservadora da unas 25 ejecuciones para un error de ±20 puntos porcentuales, 43 para ±15 puntos, 97 para ±10 puntos y 385 para ±5 puntos. El cálculo supone una proporción del 50%, que requiere la muestra más grande; para un sitio que aparece con poca frecuencia, el intervalo real puede ser más estrecho.

Un compromiso práctico es hacer entre 60 y 100 repeticiones por cada pregunta importante. Cien ejecuciones dan un error de aproximadamente ±10 puntos en el peor caso. Si hay menos de 25 ejecuciones, el informe sirve más para explorar que para extraer una conclusión firme sobre un aumento o una caída.

Antes de empezar, hay que fijar literalmente la pregunta, la región, el estado de la memoria, el modelo y el criterio de acierto. Decida por separado si cuenta solo el enlace visible para el usuario o cualquier página que el sistema haya consultado durante la búsqueda. El criterio no puede cambiarse entre mediciones.

La API y el chat muestran cosas distintas

Una medición mediante la API no refleja necesariamente lo que ve una persona en la interfaz de ChatGPT. La API puede devolver una lista completa de páginas consultadas, mientras que el chat muestra solo una parte de las citas. Además, el modelo a veces decide no recurrir a la búsqueda en absoluto. Registrar esa respuesta como un fallo es admisible, pero la regla debe ser la misma en todas las series.

Por ello, el informe debe indicar el canal de medición. La proporción obtenida a partir de las fuentes internas de la API no puede llamarse, sin matices, visibilidad para el usuario en ChatGPT.

Comparar dos periodos solo por el solapamiento o no de los intervalos individuales tampoco es suficiente: es una comprobación aproximada cómoda, pero no una prueba completa de la diferencia de proporciones. Para una decisión importante, es mejor conservar los resultados originales y aplicar una prueba estadística que tenga en cuenta las dos muestras.

El mínimo práctico de un informe es sencillo: la pregunta exacta, las condiciones de ejecución, el número de repeticiones, el número de aciertos, la proporción y el intervalo del 95%. Si un contratista muestra una respuesta afortunada o una única cifra final sin el tamaño de la muestra, eso es una demostración, no una medición.