Verificacao de 600 links mostrou que ate 94% das fontes de IA continuam acessiveis

Um link quebrado sob uma resposta gerada por IA parece uma prova: a pagina nao abriu, portanto o modelo inventou a fonte. Mas essa logica e conveniente demais e muitas vezes esta errada. O autor do estudo reuniu cerca de 600 enderecos presentes nas respostas de cinco servicos de busca com IA e voltou a verifica-los aproximadamente um mes depois. Dependendo do servico, entre 88% e 94% dos links abriram. Nenhuma invencao confirmada foi encontrada entre os enderecos inacessiveis: algumas paginas bloquearam o acesso do script automatizado, enquanto varios conteudos aparentemente haviam sido removidos, considerando os codigos de resposta e a estrutura dos URLs.

Isso nao inocenta as redes neurais. Isso muda o diagnostico. As ferramentas de busca com IA enfrentam pelo menos dois problemas diferentes: o modelo pode criar um endereco plausivel para uma pagina inexistente ou citar um conteudo verdadeiro que desaparecera mais tarde. Para quem desenvolve um sistema de verificacao, esses casos sao fundamentalmente diferentes.

Por que um erro 404 nao prova nada

Imagine que uma IA tenha citado uma analise de um servico no endereco example.com/blog/review. Um mes depois, o servidor responde com 404. Ha duas explicacoes possiveis: esse conteudo nunca existiu ou a equipe editorial o excluiu. Nao e possivel diferenciar as duas situacoes apenas pelo codigo de resposta.

O codigo 410 fornece mais informacoes: o proprietario do site declara explicitamente que o recurso foi removido de forma permanente. Esse e um forte indicio de que a pagina existia antes. Os codigos 401 e 403 normalmente indicam acesso negado; 429, que o limite de solicitacoes foi excedido; e 503, indisponibilidade temporaria do servico. Nenhuma dessas respostas deve ser automaticamente registrada como link morto: um navegador comum pode abrir uma pagina que o site se recusou a mostrar ao script.

Por isso, uma verificacao basica deve considerar os redirecionamentos, o endereco final e a classe da resposta do servidor. O experimento utilizou uma solicitacao GET com tempos-limite separados para conexao e leitura, um User-Agent proprio e um limite de dez redirecionamentos. Os enderecos com 404 e 410 foram classificados como removidos; as respostas 401, 403, 429 e 503, como bloqueadas para o robo; e os demais casos duvidosos foram encaminhados para verificacao manual.

Um link ativo tambem pode enganar

O status 200 confirma apenas que o servidor retornou alguma coisa. Ele nao comprova que a pagina contem o artigo prometido nem que o texto sustenta a conclusao da IA. O site pode ter redirecionado um endereco antigo para a pagina inicial, substituido o conteudo ou mantido o URL com material diferente.

Uma verificacao confiavel da fonte, portanto, envolve tres etapas: abrir o endereco final, confirmar que o titulo e o conteudo correspondem a citacao e, em seguida, avaliar a confiabilidade da propria fonte. Um verificador automatico de links cobre apenas a primeira etapa. Para um produto que exibe links aos usuarios, e util armazenar a data da verificacao mais recente, o URL final, o codigo de resposta e uma impressao digital do conteudo da pagina. Assim, torna-se possivel diferenciar uma falha temporaria da exclusao ou substituicao do artigo.

O que desenvolvedores e proprietarios de sites devem fazer

Os desenvolvedores de ferramentas de busca com IA nao devem marcar um link como inventado depois de uma unica solicitacao malsucedida. Sao necessarias novas tentativas, um tratamento separado para restricoes de acesso e a verificacao manual dos enderecos duvidosos. Se for importante que a resposta possa ser auditada, vale a pena preservar a data em que a fonte foi consultada e um pequeno trecho no qual a conclusao se baseia, respeitando os direitos autorais.

Ao excluir um artigo, os proprietarios de sites devem, de preferencia, configurar um redirecionamento permanente para um conteudo atualizado sobre o mesmo tema. Redirecionar para a pagina inicial mantem formalmente o endereco “ativo,” mas quebra a promessa feita ao leitor. Se nao houver uma substituicao adequada, e mais honesto retornar 410.

O estudo tem uma limitacao relevante: trata-se de uma unica medicao, realizada aproximadamente um mes depois da coleta dos links. Ele verificou a disponibilidade das paginas, mas nao a precisao dos resumos nem a qualidade das fontes. Portanto, a conclusao e restrita: um link quebrado, por si so, nao comprova uma alucinacao. E preciso verificar o historico do URL, o conteudo da pagina e se ela realmente sustenta as afirmacoes da IA.