Google AI Overviews путает поиск с инструкциями для помощника

Google AI Overviews столкнулась с неожиданной проблемой. При поиске слова «disregard» система вместо обычного AI-резюме показывает ответ как обычный чат-бот, буквально игнорируя саму суть запроса пользователя.

Как выглядит баг

Когда пользователи ищут слово «disregard» (в переводе — «игнорируй»), в секции AI Overview появляется ответ типа: > Got it! Let me know if you need help with anything else. Или: > No problem at all! How can I help you today? Вместо того чтобы показать релевантные результаты и объяснить значение слова, AI Overviews просто "заканчивает диалог", как будто пользователь отправил команду помощнику. Никаких результатов, никаких ссылок — только этот ответ. Проблема воспроизводится стабильно.

Что происходит в модели

Модель Google похоже интерпретирует слово «disregard» как команду для самой себя — буквально как инструкцию игнорировать запрос. Это классический случай prompt injection, но через поисковый интерфейс: вместо поиска информации, AI переключается в режим помощника и реагирует на само слово как на указание. Это напоминает старые инциденты с LLM, где определённые токены или фразы могут сломать ожидаемое поведение системы. Слово "disregard" буквально заставляет AI "игнорировать" свою основную задачу (резюмировать результаты поиска) и перейти в режим "готов помочь".

Почему это показательно Баг раскрывает фундаментальную уязвимость в дизайне AI Overviews.

Система не полностью отделяет информационные запросы от инструкций: Определённые слова триггерят переключение контекста модели User intent и команды для помощника путаются в одной системе Google масштабировал AI Overviews без полного тестирования граничных случаев С миллиардами пользователей любой текст может сломать модель ## Что это значит Инцидент показывает риск слишком быстрой интеграции LLM в критичные системы типа поиска. Когда миллиарды людей вводят любой текст, вероятность найти edge case, ломающий модель, приближается к стопроцентной. Для Google это сигнал: переработать валидацию входных данных, добавить фильтры и убедиться, что AI Overviews умеет различать информационный запрос от инструкции к системе. Ожидайте быстрого патча и более консервативного подхода к расширению фич.