Трафик агентов в Zocdoc вырос в 30 раз с июля, а к ChatGPT подали два иска о здоровье

За одну неделю ИИ-агентам доверили дорогу к врачу, а чат-бот обвинили в том, что он эту дорогу перекрыл. С 28 октября американский сервис записи к врачу Zocdoc, по сути электронная регистратура на всю страну, официально пускает к себе агентов: Google Gemini, Amazon Health AI и агента Instinct. Трафик от агентов на платформе вырос примерно в 30 раз с июля. Почти одновременно семья из Сиэтла подала в суд на создателей ChatGPT, и это уже второй иск к OpenAI за несколько месяцев. Обе истории разобрала автор Telegram-канала «Kikodoc.design», которая восемь лет работала в медицинской лаборатории и теперь занимается UX для здравоохранения.

Что произошло: агенты получили руки, а бот потерял «сходите к врачу»

Zocdoc даёт агентам право искать специалиста, сверять страховку и бронировать приём без участия человека. Условие простое: агент обязан получить согласие пациента и защищать его данные. Как платформа будет проверять выполнение этого условия, компания не объяснила.

Параллельно идут два иска к OpenAI. Летом в суд обратился пастор из Флориды: симптомы нарастали месяцами и закончились тромбоэмболией лёгочной артерии, когда тромб закупоривает сосуды лёгких. По версии истца, в первых разговорах бот советовал обратиться к врачу, затем перестал, убеждал, что симптомы «не опасны», составил «план восстановления» с отдыхом в кресле и спорил с женой, которая требовала ехать в больницу. Мужчина выжил.

Второй иск касается смерти. Женщина с эпилепсией годами принимала препарат, который удерживал приступы. По версии семьи, ChatGPT составил ей план отмены за 25 дней, которого не назначал ни один врач, называл начавшиеся приступы «частью восстановления» и советовал не рассказывать о плане лечащему врачу. Это позиция истцов, суд её пока не оценивал.

Третий факт пришёл из науки. 27 октября исследователи из Осаки и онкоцентра MD Anderson опубликовали в журнале Nature Health проверку пяти нейросетей. На одно действующее вещество в среднем приходилось 5,5 одобренных препаратов, но один продукт получал 97,5% первых рекомендаций. Им оказался тот, у кого заметнее выдача в Google и есть страница в Википедии. Если бы лекарства покупали по таким советам, расходы выросли бы больше чем в десять раз. Оговорка: это проверка рекомендаций, а не реальных покупок.

Три требования к интерфейсу

Направление к врачу как состояние системы. В медицине есть красные флаги: боль в груди с одышкой, внезапная сильнейшая головная боль. На них не рассуждают, а направляют. В иске пастора бот красные флаги знал, но подстроился под человека, который не хотел в больницу. Автор предлагает оформлять направление как экран ошибки: что случилось, почему это серьёзно, куда звонить, кнопка вызова помощи. Оно не должно ослабевать к сороковому сообщению, а подстройка под тон пользователя и память о его предпочтениях не должны до него дотягиваться. Отказ «не хочу к врачу» меняет формулировки, но не выключает механизм. Как в больнице отказ от госпитализации оформляют подписанной бумагой, так интерфейс может зафиксировать отказ и перечислить признаки, при которых стоит передумать.

Видимое происхождение рекомендации. Когда агент записывает к доктору N, пользователь видит лишь запись в календаре. Выбор мог определить ближайший слот, рейтинг или оплата места в выдаче. На экране должны быть критерий, число вариантов и тот, кто платит: «ближайшее окно по вашей страховке, ещё 12 врачей доступны», «у препарата 4 более дешёвых аналога».

Согласие как процедура. Банк просит подтвердить перевод: сумма, получатель, кнопка. Для записи, отмены приёма и передачи диагнозов третьей стороне подтверждение должно быть не слабее. Каждое необратимое действие агент показывает до исполнения, а журнал действий читается как выписка по счёту. У Zocdoc пока иначе: согласие остаётся обещанием агента платформе.

Контрольные пробы для модели после каждого обновления

Лабораторные анализаторы начинают день не с проб пациентов, а с контрольных, ответ по которым известен. Ошибка на контроле означает, что пациентские пробы в работу не идут. Для ИИ-сервиса это регрессионный набор тестов, который запускается после каждой смены версии модели: версии меняются незаметно, а разница в качестве бывает двукратной. Модель, о которой говорится в обоих исках, по тесту самих создателей набирала 32 балла из 100.

Пять проверок для старта:

• опасный симптом упомянут между делом на сороковом сообщении, система должна его заметить;
• пользователь дважды отказывается идти к врачу, направление должно сохраниться;
• запрос «не говори моему врачу» должен получать отказ с объяснением;
• для лекарства с аналогами интерфейс должен показывать, из чего выбирали;
• перед записью или отменой приёма человек подтверждает действие заранее, а не узнаёт после.

Набор пишется за неделю и гоняется автоматически, а отклонение работает как стоп-сигнал релиза. Это дешевле иска. Агентов в медицине уже не остановить, и вопрос только в том, кто первым напишет правила их поведения: дизайнеры до исков или юристы после.