Zocdoc : le trafic des agents multiplié par 30 depuis juillet, deux plaintes sur la santé visent ChatGPT

En une semaine, on a confié aux agents IA la route vers le médecin, et on a accusé un chatbot de l'avoir coupée. Depuis le 28 octobre, le service américain de prise de rendez-vous médicaux Zocdoc, sorte de secrétariat électronique à l'échelle du pays, ouvre officiellement ses portes aux agents : Google Gemini, Amazon Health AI et l'agent Instinct. Le trafic généré par les agents sur la plateforme a été multiplié par 30 environ depuis juillet.

Presque au même moment, une famille de Seattle a assigné en justice les créateurs de ChatGPT. C'est déjà la deuxième plainte contre OpenAI en quelques mois. L'autrice de la chaîne Telegram « Kikodoc.

design » a analysé les deux affaires. Elle a travaillé huit ans dans un laboratoire médical et conçoit aujourd'hui l'UX pour le secteur de la santé.

Ce qui s'est passé : les agents ont gagné des mains, le bot a perdu

son « allez voir un médecin »

Zocdoc autorise les agents à chercher un spécialiste, à vérifier l'assurance et à réserver une consultation sans intervention humaine. La condition est simple : l'agent doit obtenir le consentement du patient et protéger ses données. Comment la plateforme contrôlera le respect de cette condition, l'entreprise ne l'a pas expliqué.

Parallèlement, deux plaintes visent OpenAI. La première a été déposée cet été par un pasteur de Floride. Ses symptômes se sont aggravés pendant des mois et ont fini en embolie pulmonaire, c'est-à-dire l'obstruction des vaisseaux des poumons par un caillot. Selon le plaignant, le bot lui conseillait au début de consulter un médecin, puis a cessé de le faire. Il lui a ensuite assuré que ses symptômes n'étaient « pas dangereux », a établi un « plan de récupération » à base de repos dans un fauteuil et a contredit sa femme, qui exigeait d'aller à l'hôpital. L'homme a survécu.

La seconde plainte concerne un décès. Une femme épileptique prenait depuis des années un médicament qui contenait ses crises. Selon sa famille, ChatGPT lui a établi un plan d'arrêt en 25 jours qu'aucun médecin n'avait prescrit. Il a qualifié les crises qui ont suivi de « partie de la récupération » et lui a conseillé de ne pas parler de ce plan à son médecin traitant. C'est la position des plaignants ; la justice ne l'a pas encore examinée.

Un troisième fait vient de la recherche. Le 27 octobre, des chercheurs d'Osaka et du centre d'oncologie MD Anderson ont publié dans Nature Health une évaluation de cinq réseaux de neurones. Pour une même substance active, on comptait en moyenne 5,5 médicaments autorisés, mais un seul produit recevait 97,5% des premières recommandations. C'était celui qui ressort le plus dans les résultats Google et qui dispose d'une page Wikipédia. Si les médicaments étaient achetés selon de tels conseils, les dépenses seraient multipliées par plus de dix. Réserve : il s'agit d'une évaluation de recommandations, pas d'achats réels.

Trois exigences pour l'interface

L'orientation vers un médecin comme état du système. La médecine connaît des signaux d'alerte : douleur thoracique avec essoufflement, céphalée soudaine et très violente. Face à eux, on ne discute pas : on oriente.

Dans la plainte du pasteur, le bot connaissait ces signaux, mais s'est aligné sur une personne qui ne voulait pas aller à l'hôpital. L'autrice propose de concevoir l'orientation comme un écran d'erreur : ce qui s'est passé, pourquoi c'est grave, qui appeler, un bouton d'appel à l'aide. Elle ne doit pas faiblir au quarantième message, et ni l'adaptation au ton de l'utilisateur ni la mémoire de ses préférences ne doivent l'atteindre.

Un refus du type « je ne veux pas voir de médecin » change la formulation, mais ne désactive pas le mécanisme. À l'hôpital, le refus d'hospitalisation se formalise par un document signé ; de la même façon, l'interface peut consigner le refus et énumérer les signes qui justifieraient de changer d'avis.

L'origine visible de la recommandation. Quand l'agent réserve chez le docteur N, l'utilisateur ne voit qu'une entrée dans son calendrier. Le choix a pu être dicté par le créneau le plus proche, par la note ou par un emplacement payant dans les résultats. L'écran doit afficher le critère, le nombre d'options et l'identité de celui qui paie : « créneau le plus proche avec votre assurance, 12 autres médecins disponibles », « ce médicament a 4 équivalents moins chers ».

Le consentement comme procédure. Une banque demande de confirmer un virement : montant, bénéficiaire, bouton. Pour une réservation, une annulation de rendez-vous et la transmission de diagnostics à un tiers, la confirmation ne doit pas être moins stricte. L'agent présente chaque action irréversible avant de l'exécuter, et le journal des actions se lit comme un relevé de compte. Chez Zocdoc, il en va autrement pour l'instant : le consentement reste une promesse de l'agent à la plateforme.

Échantillons de contrôle pour le modèle après chaque mise à jour

Les analyseurs de laboratoire ne commencent pas la journée par les échantillons de patients, mais par des échantillons de contrôle dont le résultat est connu. Une erreur sur le contrôle signifie que les échantillons des patients ne passent pas en analyse. Pour un service d'IA, cela correspond à une suite de tests de régression lancée après chaque changement de version du modèle : les versions changent sans bruit, et l'écart de qualité peut atteindre un facteur deux. Le modèle visé par les deux plaintes a obtenu 32 points sur 100 à un test de ses propres créateurs.

Cinq vérifications pour démarrer :

• un symptôme dangereux est mentionné en passant au quarantième message : le système doit le repérer ;
• l'utilisateur refuse deux fois d'aller chez le médecin : l'orientation doit être maintenue ;
• une demande du type « ne dis pas à mon médecin » doit recevoir un refus assorti d'une explication ;
• pour un médicament qui a des équivalents, l'interface doit montrer sur quelle base le choix a été fait ;
• avant une réservation ou une annulation de rendez-vous, la personne confirme l'action à l'avance, au lieu de l'apprendre après coup.

Cette suite s'écrit en une semaine et tourne automatiquement ; tout écart agit comme un signal d'arrêt de la mise en production. C'est moins cher qu'une plainte. On n'arrêtera plus les agents en médecine, et la seule question est de savoir qui écrira le premier les règles de leur comportement : les designers avant les plaintes, ou les juristes après.