NVIDIA BioNeMo permet d'affiner des modèles d'IA biologiques avec LoRA en quelques heures

NVIDIA BioNeMo a publié un ensemble de « recettes » prêtes à l'emploi pour affiner des modèles biologiques fondamentaux avec LoRA (Low-Rank Adaptation). Cette boîte à outils permet aux équipes de recherche d'adapter de grands modèles de langage pour les protéines et l'ADN à des tâches scientifiques précises, sans ressources de supercalculateur.

Les modèles fondamentaux en biologie

La biologie computationnelle connaît une transformation comparable à celle que le traitement du langage naturel (NLP) a vécue avec BERT. Des modèles préentraînés sur des milliards de séquences biologiques captent des régularités statistiques que les règles classiques décrivent mal, mais que les transformeurs saisissent bien.

BioNeMo Recipes fonctionne avec deux modèles phares.

ESM2 est un modèle de langage pour les protéines développé par Meta, entraîné sur UniRef50. Il a analysé des centaines de millions de séquences d'acides aminés et appris à prédire les propriétés structurelles et fonctionnelles des protéines ; ses versions vont de 8 millions à 15 milliards de paramètres.

Evo 2 est un modèle de langage pour l'ADN développé par l'Arc Institute, entraîné sur 9,3 billions de nucléotides issus des génomes de 128 000 espèces. Il prédit des éléments régulateurs fonctionnels et modélise les conséquences des mutations génomiques.

Ces deux familles de modèles se transfèrent bien vers des tâches spécialisées : annotation des fonctions des protéines, prédiction de la localisation subcellulaire, évaluation de la pathogénicité de variants. Mais réentraîner entièrement ces modèles est coûteux et long.

Pourquoi LoRA change la donne

Au lieu de mettre à jour tous les poids, LoRA ajoute aux couches du transformeur des matrices compactes de faible rang, tandis que les autres paramètres restent gelés. Seules ces petites insertions passent par la rétropropagation de l'erreur.

Les chiffres clés pour les modèles biologiques :

• Le nombre de paramètres entraînables diminue de 90 à 99 %
• ESM2 avec 3 milliards de paramètres et LoRA tient sur 1 à 2 GPU au lieu de dizaines de A100
• Le coût d'une expérience passe de milliers à quelques dollars par heure de GPU
• La durée d'entraînement passe de plusieurs semaines à quelques heures
• La qualité sur des tâches très spécialisées est comparable à celle d'un affinage complet

Pour la biologie, c'est essentiel : les jeux de données de laboratoire sont souvent modestes, de quelques centaines ou milliers d'exemples. Réentraîner tout un grand modèle sur un tel volume entraîne une perte de généralisation, alors que LoRA, avec un nombre minimal de nouveaux paramètres, s'en sort nettement mieux.

Ce que contient BioNeMo Recipes

BioNeMo Recipes est un ensemble de pipelines de configuration prêts à l'emploi, accompagnés de documentation, d'exemples et de tests. Le chercheur choisit un modèle, une tâche et un jeu de données, puis la recette fixe automatiquement les hyperparamètres, configure le chargement des poids et la journalisation.

La boîte à outils comprend :

• La prise en charge de LoRA et de l'affinage complet pour ESM2 et Evo 2
• L'intégration avec NVIDIA NeMo Framework et l'infrastructure DGX
• Des formats prêts à l'emploi pour les jeux de données de protéines et de génomique
• La journalisation via Weights & Biases et des points de contrôle automatiques

La cible : les groupes biomédicaux et les entreprises pharmaceutiques qui doivent spécialiser un modèle pour un organisme, un type de protéine ou une maladie donnés. Parmi les tâches typiques : prédire la toxicité de protéines thérapeutiques, repérer des sites fonctionnels dans le génome, évaluer la pathogénicité de variants rares et concevoir des enzymes aux propriétés définies.

Ce que cela change

BioNeMo Recipes abaisse la barrière d'entrée pour les équipes dépourvues de grande infrastructure de ML. Un laboratoire pharmaceutique ou un groupe universitaire disposant de deux GPU peut désormais spécialiser un modèle fondamental selon ses propres conditions. Cela raccourcit le chemin entre l'hypothèse scientifique et l'outil de calcul et, à terme, entre la découverte et la thérapie.

*Meta a été reconnue organisation extrémiste et est interdite en Russie.