Intensif Gratuit 21–22/11Intensif gratuit de 2 jours en Vibecoding (21–22 nov, 16h00 MSK) · Cohorte 3 le 23/11S'inscrire gratuitement →Cohorte 3 (23/11)
SortieAnalyse · Sur le radarRest of World→ original

Un modèle médical ghanéen sans garde-fous a conçu 1 020 protéines et 5 000 molécules toxiques

En 2024, le laboratoire MinoHealth, basé à Accra, a désactivé les protections de son modèle médical Moremi Bio et lui a demandé d'inventer des poisons plutôt que des médicaments. Le modèle a produit 1 020 protéines et 5 000 petites molécules (de petits composés chimiques), et le programme d'évaluation a jugé tous ces candidats probablement toxiques. Rien n'a été synthétisé, mais la question reste ouverte : une entreprise qui imprime de l'ADN arrêterait-elle une telle commande ? La conclusion : il faut tester la résistance des modèles biologiques aux contournements avant leur sortie.

Traité par IA depuis Rest of World ; édité par Hamidun News
Un modèle médical ghanéen sans garde-fous a conçu 1 020 protéines et 5 000 molécules toxiques
Source : Rest of World. Collage: Hamidun News.
Écouter l'article
Fiche synthèse et chiffres clés
ParamètreDonnées
Source primaireRest of World ↗
Rédacteur en chef
Chiffre clé #1Certains projets ressemblaient à la ricine, mais le laboratoire ne les a pas fabriqués
Chiffre clé #2Les protections du modèle ont été contournées en quelques jours seulement
Chiffre clé #3Les dirigeants d'OpenAI, d'Anthropic et de DeepMind demandent aux États-Unis d'imposer le contrôle des commandes d'ADN

Imaginez un assistant médical doté de l'intelligence artificielle capable d'inventer de nouveaux médicaments, puis imaginez quelqu'un qui retire ses limites et lui demande l'inverse : concevoir des poisons. C'est exactement ce qu'a fait, par curiosité, en 2024, un petit laboratoire, MinoHealth AI Labs, basé à Accra, la capitale du Ghana. Son modèle de langage Moremi Bio, entraîné sur la biologie et la recherche de médicaments, a produit, une fois ses protections désactivées, les descriptions de 1 020 protéines et de 5 000 petites molécules.

Les protéines sont de grandes « machines biologiques », comme les enzymes ou les toxines, tandis que les petites molécules sont des composés chimiques de petite taille, dont sont faits la plupart des comprimés. Rien de tout cela n'a été fabriqué au laboratoire, mais le programme qui évalue la toxicité d'une substance a jugé probablement toxiques toutes les variantes. Certaines rappelaient la ricine, un poison naturel mortel.

Ce qu'a réellement montré l'expérience

Le fondateur du laboratoire, Darlington Akogo, reconnaît que son équipe a été sous le choc. Une expérience similaire avait déjà été menée par des chercheurs d'une entreprise pharmaceutique américaine, mais avec un programme génératif étroit, qui proposait des variantes d'armes chimiques. La nouveauté de l'étude ghanéenne tient ailleurs : elle a utilisé un LLM généraliste, c'est-à-dire le même type de modèle de langage que les chatbots, mais entraîné sur la biologie. Selon Akogo, à sa connaissance, personne n'avait encore montré que des modèles de langage pouvaient concevoir des armes biologiques. Il se souvient que les protections ont été contournées en quelques jours.

Le travail a été publié sur le serveur de prépublications arXiv et a même été discuté au sein d'Interpol. Adam Abdullahi, de l'Initiative internationale pour la biosécurité, y voit la preuve de la contribution des institutions africaines à la gestion des risques de l'IA. Il fait cependant remarquer que le modèle n'aurait jamais dû aboutir à un tel résultat, puisque c'est précisément le sens des garde-fous.

Le contournement des protections devient banal

Depuis 2024, les modèles sont devenus plus puissants et le seuil d'accès s'est abaissé. Ayangola Alayande, chercheur au Centre mondial pour la gouvernance de l'IA, affirme qu'il ne serait plus surprenant que des utilisateurs ordinaires obtiennent ce type de réponses de la part de chatbots. Peter Garraghan, fondateur de Mindgard, ajoute que le jailbreak (le contournement des interdictions intégrées par des requêtes habilement formulées) ne demande aucune compétence technique, seulement de la persévérance. Selon lui, les protections ont pu être contournées sur Kimi, Grok, Claude et ChatGPT. Les entreprises n'ont pas répondu aux questions des journalistes. Le Institut britannique de sécurité de l'IA précise que même les mesures renforcées contre les requêtes biologiques ne offrent aucune garantie.

En septembre, Anthropic a signalé cinq cas dans lesquels des utilisateurs ont tenté d'utiliser ses modèles pour soutenir le développement d'armes biologiques. Ken McCallum, directeur du MI5, le contre-espionnage britannique, a qualifié le potentiel de l'IA à modifier les enjeux des armes biologiques de risque d'abus le plus lourd.

Le maillon faible : la commande d'ADN

Un projet de poison n'est pas encore un poison. Pour obtenir une molécule réelle, un malveillant doit envoyer une séquence à une entreprise qui imprime de l'ADN sur commande. Certaines de ces entreprises vérifient les commandes afin de détecter les séquences dangereuses, mais Akogo estime que l'IA pourrait aider à tromper ce contrôle. En juin, les dirigeants d'OpenAI, d'Anthropic et de Google DeepMind ont rejoint l'appel adressé aux législateurs américains pour rendre ces contrôles obligatoires. Le Consortium international de synthèse génique, une association volontaire de fournisseurs, soutient également ce type de loi et travaille avec les développeurs de modèles pour repérer les séquences conçues par l'IA pour passer les contrôles.

En Afrique, le sujet est arrivé jusqu'aux gouvernements. Brenda Obuya, du ministère de l'Information et de l'Économie numérique du Kenya, affirme que les modèles avancés ouverts ont abaissé la barrière technique, et que les services de renseignement créent des cellules dédiées aux menaces à la croisée de la cybersécurité et de la biologie.

MinoHealth ne cherche pas à effrayer. L'équipe compte 20 personnes, travaille dans un modeste bungalow, tire ses revenus principalement de la vente de son système, et participe à un consortium financé par l'Union européenne sur les anticorps ainsi que sur le diagnostic de la variole simienne et du paludisme. Moremi Bio a déjà proposé des centaines de candidats médicaments contre le cancer, la tuberculose et la dengue. Akogo propose la création d'un groupe de travail de l'ONU sur les risques de l'IA et un contrôle renforcé de la synthèse.

Conclusion pratique pour ceux qui développent des modèles spécialisés en biologie et en médecine : le test de résistance au jailbreak doit faire partie de la mise en production, au même titre qu'un test de sécurité dans un produit classique. Les seuls filtres ne suffisent pas s'ils peuvent être supprimés en quelques jours. Réserve importante : la toxicité n'a été évaluée que par un programme, aucun projet n'a été vérifié en laboratoire, le danger réel de chaque variante reste donc inconnu. La question du contrôle des commandes d'ADN n'en disparaît pas pour autant.

Dossier

Questions clés sur cet article

Que sait-on sur Ce qu'a réellement montré l'expérience ?

Le fondateur du laboratoire, Darlington Akogo, reconnaît que son équipe a été sous le choc. Une expérience similaire avait déjà été menée par des chercheurs d'une entreprise pharmaceutique américaine, mais avec un programme génératif étroit, qui proposait des variantes d'armes chimiques. La nouveauté de l'étude ghanéenne tient ailleurs : elle a utilisé un LLM généraliste, c'est-à-dire le même type de modèle de langage que les chatbots, mais entraîné sur la biologie.

Que sait-on sur Le contournement des protections devient banal ?

Depuis 2024, les modèles sont devenus plus puissants et le seuil d'accès s'est abaissé. Ayangola Alayande, chercheur au Centre mondial pour la gouvernance de l'IA, affirme qu'il ne serait plus surprenant que des utilisateurs ordinaires obtiennent ce type de réponses de la part de chatbots. Peter Garraghan, fondateur de Mindgard, ajoute que le jailbreak (le contournement des interdictions intégrées par des requêtes habilement formulées) ne demande aucune compétence technique, seulement de la persévérance.

Que sait-on sur Le maillon faible : la commande d'ADN ?

Un projet de poison n'est pas encore un poison. Pour obtenir une molécule réelle, un malveillant doit envoyer une séquence à une entreprise qui imprime de l'ADN sur commande. Certaines de ces entreprises vérifient les commandes afin de détecter les séquences dangereuses, mais Akogo estime que l'IA pourrait aider à tromper ce contrôle. En juin, les dirigeants d'OpenAI, d'Anthropic et de Google DeepMind ont rejoint l'appel adressé aux législateurs américains pour rendre ces contrôles obligatoires.

ZK
Zhemal Khamidun — CPO d'Alpina Digital, product manager d'AlpinaGPT. Conçoit des produits IA depuis 2019. Hamidun News est un projet personnel devenu un agrégateur en production avec plus de 6 000 lecteurs.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
Qu'en pensez-vous ?
Chargement des commentaires…