Los tres bots de Anthropic pueden elevar al 92% la probabilidad de que un sitio aparezca entre las fuentes de Claude

Un sitio puede ser útil, estar bien escrito y ser accesible para Google, pero Claude aun así podría no verlo durante una búsqueda. Una causa frecuente es muy sencilla: el propietario quería impedir que los textos se utilizaran para entrenar modelos y bloqueó todos los bots de Anthropic con una sola regla. Como resultado, además del rastreador de entrenamiento, también bloqueó la indexación para búsquedas y la lectura de páginas mediante enlaces directos.

Anthropic utiliza bots diferentes para estas tareas. ClaudeBot recopila materiales para entrenar modelos. Claude-SearchBot indexa páginas que pueden aparecer en los resultados de búsqueda web de Claude. Claude-User recupera una página concreta cuando un usuario proporciona un enlace o solicita su contenido. Por tanto, bloquear únicamente ClaudeBot no debería privar al sitio de visibilidad, siempre que los otros dos bots estén realmente autorizados.

Una sola prohibición resuelve el problema equivocado

Pensemos en la documentación de un servicio SaaS. El equipo no quiere incluirla en futuros conjuntos de datos de entrenamiento, pero sí quiere que Claude cite las instrucciones cuando los clientes hagan preguntas. En ese caso, robots.txt puede bloquear el acceso de ClaudeBot y permitir por separado Claude-SearchBot y Claude-User. De forma simplificada, la lógica es la siguiente: Disallow: / para el primero y Allow: / para los otros dos.

Sin embargo, robots.txt por sí solo no basta. Un WAF o una CDN pueden rechazar las solicitudes antes de que el bot lea las reglas. Por ejemplo, una regla preconfigurada para bloquear rastreadores de IA puede agrupar varios agentes de usuario. En ese caso, el archivo permite el acceso, pero la protección del sitio devuelve una denegación. Es necesario revisar toda la cadena: el robots.txt de cada subdominio, las reglas de la CDN y del WAF y, después, los registros del servidor. El nombre del bot en el agente de usuario debe contrastarse con la lista de direcciones IP publicada por Anthropic, ya que esa cadena es fácil de falsificar.

Estar indexado todavía no implica ser citado

Después de permitir los bots, la página debe entrar en el índice de búsqueda que utiliza Claude. Anthropic no identifica oficialmente a su proveedor de búsqueda, pero varias observaciones independientes apuntan a una estrecha relación con Brave Search. En una comparación, el 87,8% de las páginas encontradas por Claude figuraban entre los 10 primeros resultados de Brave; en el caso de Google, la coincidencia fue del 45,6%. En otra medición, los sitios situados en las posiciones 1–3 de Brave fueron citados en el 92% de las respuestas analizadas, mientras que las páginas fuera del top 20 aparecieron en el 12%.

Se trata de una correlación, no de una prueba de causalidad directa. Los resultados tampoco pueden extrapolarse automáticamente a consultas en ruso. Además, Claude no siempre recurre a la búsqueda web: en el estudio State of AEO 2026, la búsqueda se activó en el 36,6% de los casos. Si el modelo responde de memoria, una página recién publicada no podrá convertirse en fuente, independientemente de la configuración del sitio.

Que comprobar en la práctica

Empiece por el robots.txt del dominio principal y de todos los subdominios. Asegúrese de que Claude-SearchBot y Claude-User no estén incluidos en un Disallow: / general. Después, revise el WAF, la CDN y los registros de acceso. A continuación, busque la página en Brave mediante varias consultas para las que realmente ofrezca la mejor respuesta.

La comprobación final consiste en proporcionar a Claude un enlace directo y pedirle que resuma la página; después, hay que formular una pregunta temática con la frase Search the web. Repita el experimento con varias formulaciones: que un enlace aparezca o no aparezca una sola vez no demuestra nada.

La conclusión práctica es sencilla: separe la exclusión del entrenamiento de la exclusión de la visibilidad en búsquedas. Bloquee ClaudeBot si así lo exige la política de la empresa, pero mantenga deliberadamente el acceso para Claude-SearchBot y Claude-User. Esto no garantiza un lugar en la respuesta, pero elimina el obstáculo técnico que podría impedir que Claude siquiera considerara su contenido.