Проверка 600 ссылок показала: до 94% источников ИИ остаются доступными

Битая ссылка под ответом нейросети выглядит как улика: страница не открылась — значит, модель придумала источник. Но такая логика слишком удобна и часто неверна. Автор исследования собрал около 600 адресов из ответов пяти ИИ-сервисов с поиском, а примерно через месяц проверил их повторно. Открылись от 88% до 94% ссылок в зависимости от сервиса. Среди недоступных адресов не нашлось подтверждённых выдумок: часть страниц закрывала доступ автоматическому скрипту, а несколько материалов, судя по кодам ответа и структуре URL, успели удалить.

Это не оправдывает нейросети. Это меняет диагноз. У поисковых ИИ есть как минимум две разные проблемы: модель может создать правдоподобный адрес несуществующей страницы, а может сослаться на настоящий материал, который исчезнет позже. Для разработчика системы проверки это принципиально разные случаи.

Почему ошибка 404 ничего не доказывает

Представим, что ИИ сослался на обзор сервиса по адресу example.com/blog/review. Через месяц сервер отвечает 404. Возможны два объяснения: такого материала никогда не существовало либо редакция его удалила. По одному коду ответа отличить эти ситуации нельзя.

Код 410 даёт больше информации: владелец сайта явно сообщает, что ресурс удалён окончательно. Это сильный признак того, что страница раньше существовала. Коды 401 и 403 обычно означают отказ в доступе, 429 — превышение лимита запросов, 503 — временную недоступность сервиса. Записывать все такие ответы в «мёртвые ссылки» нельзя: обычный браузер может открыть страницу, которую сайт не показал скрипту.

Поэтому простая проверка должна учитывать редиректы, конечный адрес и класс ответа сервера. В эксперименте использовался GET-запрос с отдельными тайм-аутами на соединение и чтение, собственным User-Agent и лимитом до десяти перенаправлений. Адреса с 404 и 410 относились к удалённым, ответы 401, 403, 429 и 503 — к закрытым для робота, остальные спорные случаи отправлялись на ручную проверку.

Живая ссылка тоже может обмануть

Статус 200 подтверждает лишь то, что сервер что-то отдал. Он не доказывает, что на странице находится обещанная статья, а её текст подтверждает вывод нейросети. Сайт мог перенаправить старый адрес на главную страницу, заменить материал или сохранить URL с другим содержанием.

Надёжная проверка источника поэтому состоит из трёх шагов: открыть конечный адрес, убедиться, что заголовок и содержание соответствуют цитате, а затем оценить надёжность самого источника. Автоматический link checker закрывает только первый шаг. Для продукта, который показывает ссылки пользователю, полезно хранить дату последной проверки, конечный URL, код ответа и отпечаток содержания страницы. Тогда можно отличить временный сбой от удаления или подмены материала.

Что делать разработчикам и владельцам сайтов

Разработчикам ИИ-поиска не стоит помечать ссылку как выдуманную после единственного неудачного запроса. Нужны повторная попытка, отдельная обработка ограничений доступа и ручная проверка спорных адресов. Если важна доказуемость ответа, стоит сохранять дату обращения к источнику и небольшой фрагмент, на котором основан вывод, с учётом авторских прав.

Владельцам сайтов при удалении статьи лучше ставить постоянный редирект на актуальный материал по той же теме. Перенаправление на главную формально сохраняет «живой» адрес, но ломает обещание читателю. Если подходящей замены нет, честнее вернуть 410.

У исследования есть заметное ограничение: это один замер, выполненный примерно через месяц после сбора ссылок. Он проверял доступность страниц, но не точность пересказа и не качество источников. Поэтому вывод узкий: битая ссылка сама по себе не доказывает галлюцинацию. Проверять нужно и историю URL, и содержание страницы, и то, действительно ли она подтверждает слова нейросети.