Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Robôs do ChatGPT e do Claude não enxergam 40% do texto em uma a cada oito páginas de preços

O site descreve o produto em detalhes, mas o ChatGPT ainda responde com generalidades: os robôs do ChatGPT e do Claude baixam o JavaScript, mas não o executam. Por isso, o texto que a página monta no navegador não chega até eles. A Profound analisou 77 páginas de preços: em 10 delas, ou seja, uma a cada oito, os robôs não viram pelo menos 40% do texto principal. Mantenha nome, preço e público-alvo no HTML original, e não em scripts.

Processado por IA de Habr AI; editado por Hamidun News
Robôs do ChatGPT e do Claude não enxergam 40% do texto em uma a cada oito páginas de preços
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Anthropicuma explicação anexada ao fragmento reduziu as buscas malsucedidas de 5,7% para 2,9%
Ahrefscinco sistemas de IA ignoram JSON-LD, Microdata e RDFa
Dado-chave #3Sem a página de preços, a IA citava de $100 a $2 400 por usuário

A descrição do produto no site ocupa três telas, tudo muito bem explicado, mas ChatGPT, GigaChat ou Alice AI respondem sobre ele com generalidades ou o confundem com um concorrente. Uma das causas é técnica: os robôs do ChatGPT e do Claude baixam arquivos JavaScript (o código que completa a página no navegador do visitante), mas não os executam. Se os preços ou a descrição são desenhados por um script, o robô vê um espaço vazio.

A Profound analisou 77 páginas públicas de preços: em 10 delas, ou seja, aproximadamente uma a cada oito, os robôs não enxergavam pelo menos 40% do texto principal. A página pode ter sido escrita com o maior detalhe, mas, para a IA, essa parte simplesmente não existe. A segunda causa é que a rede neural não lê o site inteiro, e sim alguns fragmentos encontrados.

A conclusão prática: os fatos-chave sobre o produto devem estar no HTML original e se repetir em cada parágrafo relevante.

O que a rede neural realmente lê

A rede neural não carrega o site inteiro. Ela recebe alguns fragmentos encontrados e, se eles não trazem um texto direto sobre o que é o produto e para quem ele serve, os detalhes de outras páginas não ajudam.

As fontes variam conforme o serviço. O ChatGPT tem robôs próprios. De acordo com a documentação da OpenAI, a busca fica a cargo do OAI-SearchBot: é por ele que os sites entram nos resultados. O GPTBot coleta dados para treinamento e não tem relação com a busca, enquanto o ChatGPT-User abre a página quando o usuário faz uma pergunta. As configurações no robots.txt são independentes para cada um. A Alice AI não rastreia sites por conta própria: ela divide a pergunta em subperguntas, envia-as à Busca do Yandex e se apoia em páginas bem ranqueadas. Para ela, uma página mal ranqueada quase não tem chance de virar fonte.

Texto vindo de scripts é invisível para os robôs

O estudo da Vercel e da MERJ, publicado em dezembro de 2024, mostrou que os robôs do ChatGPT e do Claude recebem o HTML (o código-fonte da página antes da execução dos scripts) e os arquivos JavaScript, mas não executam os scripts. Os arquivos JavaScript representaram 11,50% das requisições do crawler do ChatGPT e 23,84% das do Claude. O robô os baixa, mas, para ele, isso é só o texto de um programa. Se a descrição do produto é carregada por um script, ela não está no HTML original e, portanto, também não existe para o robô.

A Profound mediu a escala do problema: em 10 de 77 páginas de preços, o robô não via pelo menos 40% do texto. No próprio site da Profound, os preços também eram desenhados por um script, e os crawlers de IA não os percebiam. A solução foi migrar para renderização no servidor (SSR): o servidor monta a página, e o robô já recebe o texto pronto.

Se não há nenhuma página de preços, a rede neural busca os números com terceiros. Em um dos produtos do estudo, as respostas da IA citaram preços de cerca de $100 a $2 400 por usuário ao mês, muitas vezes com base em discussões no Reddit. Uma diferença de 24 vezes para o mesmo produto: o comprador não pode se apoiar numa resposta assim.

A marcação Schema.org também não resolve. A Ahrefs testou ChatGPT, Claude, Perplexity, Gemini e Google AI Mode: os cinco, ao ler em tempo real, usaram apenas o HTML visível e ignoraram JSON-LD, Microdata e RDFa. Em 1 885 páginas que adicionaram JSON-LD entre agosto de 2025 e março de 2026, as citações no AI Mode e no ChatGPT não aumentaram, e nos AI Overviews caíram 4,6%, embora os autores não consigam associar isso com segurança à marcação. A marcação pode ser mantida, mas não deve ser a única cópia de um fato.

Cada parágrafo deve citar o produto

Mesmo o texto visível é consumido em pedaços pela rede neural. A Anthropic ilustra isso com um exemplo: o fragmento «a receita cresceu 3% no trimestre» não informa nem a empresa nem o período. Se, antes da indexação, cada fragmento recebe uma explicação de 50 a 100 tokens, a busca erra quase pela metade: 2,9% de buscas malsucedidas em vez de 5,7%. O site não pode acrescentar uma explicação a um parágrafo recortado por um sistema externo, mas pode inserir o nome do produto em cada parágrafo relevante.

Compare: «Uma solução que ajuda a crescer e a economizar tempo» serve para mil produtos. «Kassir é um caixa em nuvem para pequenas lojas virtuais: recebe o pagamento, emite o cupom fiscal e o envia ao comprador» nomeia o produto, o público e a tarefa mesmo quando isolado do resto.

Seis verificações

  1. Abra o robots.txt e localize o bloco do OAI-SearchBot. A linha Disallow: / fecha o site para a busca do ChatGPT. Se não houver um bloco específico, valem as regras de User-agent: *.
  2. Obtenha a página sem JavaScript (código-fonte ou curl com grep) e procure o nome, o preço e o público-alvo. Zero ocorrências significa que o texto é desenhado por um script. Faça o mesmo para abas e sliders, e duplique em texto os fatos que estão em PDFs e imagens.
  3. Se o texto não está no HTML, migre para renderização no servidor ou pré-renderização.
  4. Confira o JSON-LD com o texto visível: cada valor deve aparecer também na página.
  5. Leia cada parágrafo sobre o produto isoladamente, sem o título. Se não ficar claro que produto é esse e para quem serve, complete o texto.
  6. Pergunte sobre o produto ao ChatGPT, ao GigaChat, à Alice AI e ao Perplexity e compare as respostas com o site. Se alguma resposta estiver errada, abra as fontes e encontre a página de terceiros com o erro.

O ideal é começar pelo item 2: enquanto o texto não estiver no HTML original, é cedo para reescrever parágrafos. Depois vem o item 5.

Limitações

Os dados são incompletos. O estudo da Vercel e da MERJ saiu em 2024, os robôs podem ter mudado, e não se sabe se GigaChat e Perplexity executam scripts. A Profound coletou respostas de 29 de julho a 10 de agosto de 2026 e apenas sobre preços, e a Ahrefs mediu a frequência de citações, não a precisão do resumo. Texto no HTML e o nome do produto nos parágrafos não garantem uma resposta correta da rede neural, mas, sem eles, ela fica reduzida a montar o produto a partir de palavras genéricas e páginas de terceiros.

História

Perguntas frequentes sobre a notícia

O que a rede neural realmente lê?

A rede neural não carrega o site inteiro. Ela recebe alguns fragmentos encontrados e, se eles não trazem um texto direto sobre o que é o produto e para quem ele serve, os detalhes de outras páginas não ajudam. As fontes variam conforme o serviço. O ChatGPT tem robôs próprios. De acordo com a documentação da OpenAI, a busca fica a cargo do OAI-SearchBot: é por ele que os sites entram nos resultados.

O que se sabe sobre Texto vindo de scripts é invisível para os robôs?

O estudo da Vercel e da MERJ, publicado em dezembro de 2024, mostrou que os robôs do ChatGPT e do Claude recebem o HTML (o código-fonte da página antes da execução dos scripts) e os arquivos JavaScript, mas não executam os scripts. Os arquivos JavaScript representaram 11,50% das requisições do crawler do ChatGPT e 23,84% das do Claude. O robô os baixa, mas, para ele, isso é só o texto de um programa.

O que se sabe sobre Cada parágrafo deve citar o produto?

Mesmo o texto visível é consumido em pedaços pela rede neural. A Anthropic ilustra isso com um exemplo: o fragmento «a receita cresceu 3% no trimestre» não informa nem a empresa nem o período. Se, antes da indexação, cada fragmento recebe uma explicação de 50 a 100 tokens, a busca erra quase pela metade: 2,9% de buscas malsucedidas em vez de 5,7%. O site não pode acrescentar uma explicação a um parágrafo recortado por um sistema externo, mas pode inserir o nome do produto em cada parágrafo relevante.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…