OpenAI met à jour ChatGPT pour mieux repérer les risques dans les conversations sensibles

OpenAI a décrit des mises à jour de sécurité de ChatGPT qui aident le modèle à mieux comprendre le contexte dans les conversations sensibles. Le système repère plus précisément les cas où le risque n'apparaît pas d'emblée, mais s'accumule au fil de l'échange, voire dans plusieurs chats distincts.

Pourquoi le contexte compte

Dans un message isolé, un utilisateur peut poser une question neutre ou ambiguë, et sans les messages précédents, la demande paraît anodine. Mais si la conversation comportait auparavant des signes de détresse, des propos sur l'automutilation ou des allusions à un préjudice envers autrui, le sens change radicalement. OpenAI a centré la mise à jour sur ces cas précis : le modèle a été entraîné à relier les signaux de plusieurs messages et à renforcer sa prudence non pas dans toutes les conversations, mais uniquement là où des signes inquiétants apparaissent réellement.

L'entreprise indique qu'il s'agit de scénarios rares mais critiques, avant tout le suicide, l'automutilation et les menaces envers d'autres personnes. Dans ces situations, ChatGPT ne doit pas se contenter de répondre de façon formelle : il doit savoir refuser à temps les détails dangereux, faire baisser la tension et rediriger doucement l'utilisateur vers une aide plus sûre. L'objectif de la mise à jour n'est pas de rendre le modèle excessivement anxieux, mais de lui apprendre à distinguer les conversations ordinaires des épisodes réellement risqués.

Ce qui a changé

La nouveauté clé, ce sont les safety summaries : de courtes notes factuelles sur le contexte important en matière de sécurité. Elles sont produites par un modèle distinct, entraîné au raisonnement de sécurité, et ne sont utilisées que dans de rares cas, lorsqu'un signal de risque sérieux existe. Selon OpenAI, ces notes ne relèvent pas d'une personnalisation générale et ne se transforment pas en mémoire à long terme sur l'utilisateur : elles sont conservées pour une durée limitée et appliquées uniquement lorsque le contexte passé est réellement nécessaire pour une réponse plus sûre.

• Elles recoupent les signaux des messages actuels et passés
• Elles aident à prendre en compte le risque entre chats distincts
• Elles indiquent au modèle quand il faut désamorcer la conversation
• Elles renforcent le refus face aux détails dangereux d'une demande
• Elles redirigent l'utilisateur vers des alternatives plus sûres

OpenAI souligne par ailleurs que le système n'a pas été conçu uniquement au sein de l'équipe sécurité. Des psychiatres et des psychologues du Global Physicians Network ont participé, dont des spécialistes de psychologie médico-légale et de prévention du suicide et de l'automutilation. Ils ont aidé à déterminer à quels moments créer des safety summaries, quelle quantité de contexte antérieur est réellement utile et pendant combien de temps le modèle doit en tenir compte pour répondre. Le détail est important : l'entreprise ne s'est pas appuyée sur de simples heuristiques générales, mais aussi sur la pratique de spécialistes confrontés à ces situations de crise.

Ce que montrent les tests

OpenAI avance plusieurs métriques internes. Dans les scénarios longs au sein d'une même conversation, la part de réponses sûres a progressé de 50 % dans les cas de suicide et d'automutilation, et de 16 % dans les cas de préjudice à autrui.

L'entreprise a aussi testé le fonctionnement sur plusieurs conversations et plusieurs modèles. Pour GPT-5.5 Instant, qui est actuellement le modèle par défaut de ChatGPT, les réponses sûres se sont améliorées de 52 % dans les scénarios de préjudice à autrui et de 39 % dans ceux de suicide et d'automutilation. Cela montre que le système repère mieux l'accumulation du risque dans le temps, au lieu de ne réagir qu'aux signaux d'alerte évidents.

L'entreprise a également évalué la qualité des safety summaries eux-mêmes. Sur plus de 4 000 évaluations internes, ils ont obtenu une note moyenne de 4,93 sur 5 pour la pertinence en matière de sécurité et de 4,34 sur 5 pour l'exactitude factuelle.

OpenAI a en outre vérifié que l'ajout de ce contexte ne dégrade pas les conversations ordinaires. Dans les tests internes, les réponses dans les chats du quotidien sont restées globalement comparables, et aucune préférence notable des utilisateurs n'a été constatée entre les variantes avec et sans safety summaries. Autrement dit, le pari porte sur une prudence plus précise, sans baisse sensible de qualité dans les scénarios normaux.

Ce que cela signifie

OpenAI s'oriente vers une prise en compte plus robuste du contexte antérieur, non pas pour la personnalisation, mais pour la sécurité dans de rares situations critiques. Si l'approche passe réellement à l'échelle sans trop de faux positifs, ChatGPT pourra mener avec plus de soin des conversations difficiles où le risque ne devient évident qu'au fil d'une série de messages.

Pour l'industrie, c'est un signal important : la sécurité dépend de plus en plus non d'une seule requête, mais de la capacité du modèle à voir une situation évoluer dans le temps.