Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
РелизРазбор · На радарTechCrunch→ оригинал

Агент Meta Muse путает чужие чаты и показывает сотрудникам банковские балансы

Агент Muse от Meta, запущенный в сентябре, по данным Reuters, путает диалоги разных аккаунтов. Сотрудники компании писали во внутренних постах, что он присылал сообщения про заказы и советы по карьере, которых они не просили. Одному посреди разговора о погоде выдал балансы банковских счетов на $2722,58 и $5899,57. Вывод для создателей агентов: изоляцию данных между пользователями нужно проверять так же жёстко, как права доступа.

AI-обработка оригинала TechCrunch; редакция Hamidun News
Агент Meta Muse путает чужие чаты и показывает сотрудникам банковские балансы
Источник: TechCrunch. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTechCrunch ↗
Главный редактор
Ключевой факт #1Muse вышел в сентябре и набрал более 10 млн загрузок
Ключевой факт #2Сотруднице Muse напомнил ответить сестре в Signal, хотя доступа не давали
Ключевой факт #3Разделяйте память и контекст пользователей на уровне хранилища, а не только промпта. Модели нельзя поручать самой «не показывать чужое».

Представьте, что вы спрашиваете у ассистента про погоду и приливы, а он в конце добавляет: «Кстати, на вашем счёте в Capital One $2722,58, а в Charles Schwab $5899,57». Проблема в том, что это не ваши счета. Именно такую историю описал сотрудник Meta во внутреннем посте, на который ссылается Reuters. Речь об ИИ-агенте Muse, который компания запустила в сентябре.

Что произошло

Reuters изучило внутренние сообщения сотрудников Meta. Те жаловались, что Muse смешивает диалоги разных аккаунтов и показывает чужие личные данные. По их словам, агент выдавал сообщения о просьбах найти няню, о которых они никого не просили. Он давал советы по карьере, которых никто не запрашивал, и сообщал о заказах товаров, которых они не делали. Он же называл балансы банковских счетов, не принадлежавшие этим людям.

Самый наглядный случай — тот самый чат о погоде и приливах. Посреди обычного ответа Muse вдруг добавил «BTW, two bank updates» и перечислил два баланса. Другая сотрудница пользовалась агентом на личном телефоне. Muse напомнил ей ответить сестре в Signal, популярном мессенджере со сквозным шифрованием. Она написала в посте, что это похоже на грубое нарушение приватности. По её словам, она точно не давала агенту доступ к другим приложениям и не помнит, чтобы её об этом спрашивали.

Здесь стоит различать два вопроса. Первый: чьи именно это были данные, то есть утекали ли они между разными людьми. Второй: к чему вообще у агента есть доступ на устройстве. Из публикации ясно, что сотрудники видели в своих чатах информацию, которая им не принадлежала. Что именно сломалось внутри Muse, не сообщается. Meta на запрос TechCrunch пока не ответила, так что все выводы о причинах остаются предположениями.

Почему это важно

Muse — одно из самых быстрорастущих приложений в истории: по данным TechCrunch, у него больше 10 млн загрузок. Пока агент был игрушкой для энтузиастов, такие сбои оставались бы курьёзом. Теперь через него проходят сообщения, заказы и финансовая информация миллионов людей. Любая ошибка в разделении контекста превращается в утечку персональных данных.

Агенты отличаются от обычных чат-ботов тем, что у них есть память и доступ к внешним сервисам: почте, мессенджерам, банковским уведомлениям. Чем больше источников подключено, тем выше цена ошибки. Обычный чат-бот при сбое просто ответит невпопад. Агент с доступом к нескольким источникам может принести в разговор чужое письмо или чужой баланс.

Отдельный вопрос — согласие пользователя. Слова сотрудницы о том, что она не помнит просьбы дать доступ к другим приложениям, показывают проблему интерфейса. Даже если технически разрешение было получено, человек должен понимать, что именно агент читает и когда.

Что делать тем, кто строит агентов

Из этой истории можно сделать несколько практических выводов. Это общие инженерные правила, а не разбор внутренностей Muse.

  • Разделяйте память и контекст пользователей на уровне хранилища, а не только промпта. Модели нельзя поручать самой «не показывать чужое».
  • Проверяйте источник каждого факта перед тем, как агент вставит его в ответ. Данные должны привязываться к конкретной учётной записи, а запрос к инструменту должен нести её идентификатор.
  • Тестируйте утечки между аккаунтами отдельно: заводите несколько тестовых профилей с уникальными метками в данных и ищите, не всплывают ли эти метки у соседей.
  • Запрашивайте доступ к чувствительным источникам явно и понятным языком, а финансовые данные не показывайте без прямого запроса пользователя.
  • Заранее подготовьте процесс реагирования: журналы, быстрое отключение функции и уведомление пользователей.

Meta, скорее всего, придётся публично объяснить, как произошли эти сбои и сколько обычных пользователей они затронули. Пока из сообщений сотрудников видно лишь, что компания столкнулась с ними на внутренних устройствах. Для всей индустрии сигнал простой: чем быстрее растёт агент, тем дороже обходится небрежная изоляция данных.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что произошло?

Reuters изучило внутренние сообщения сотрудников Meta. Те жаловались, что Muse смешивает диалоги разных аккаунтов и показывает чужие личные данные. По их словам, агент выдавал сообщения о просьбах найти няню, о которых они никого не просили. Он давал советы по карьере, которых никто не запрашивал, и сообщал о заказах товаров, которых они не делали. Он же называл балансы банковских счетов, не принадлежавшие этим людям. Самый наглядный случай — тот самый чат о погоде и приливах.

Что известно по теме: почему это важно?

Muse — одно из самых быстрорастущих приложений в истории: по данным TechCrunch, у него больше 10 млн загрузок. Пока агент был игрушкой для энтузиастов, такие сбои оставались бы курьёзом. Теперь через него проходят сообщения, заказы и финансовая информация миллионов людей. Любая ошибка в разделении контекста превращается в утечку персональных данных. Агенты отличаются от обычных чат-ботов тем, что у них есть память и доступ к внешним сервисам: почте, мессенджерам, банковским уведомлениям.

Что известно по теме: что делать тем, кто строит агентов?

Из этой истории можно сделать несколько практических выводов. Это общие инженерные правила, а не разбор внутренностей Muse. Разделяйте память и контекст пользователей на уровне хранилища, а не только промпта. Модели нельзя поручать самой «не показывать чужое». Проверяйте источник каждого факта перед тем, как агент вставит его в ответ. Данные должны привязываться к конкретной учётной записи, а запрос к инструменту должен нести её идентификатор.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…