NVIDIA BioNeMo позволяет дообучать биологические AI-модели методом LoRA за часы

NVIDIA BioNeMo lanzó un conjunto de "recetas" listas para fine-tuning de modelos biológicos fundamentales usando LoRA (Low-Rank Adaptation). El kit permite que equipos de investigación adapten grandes modelos de lenguaje para proteínas y ADN a tareas científicas específicas sin recursos de supercomputación.

Modelos Fundamentales en Biología

La biología computacional está experimentando una transformación similar a la que el NLP vivió con BERT. Los modelos preentrenados en miles de millones de secuencias biológicas capturan patrones estadísticos que están mal descritos por reglas clásicas, pero bien capturados por transformers. BioNeMo Recipes funciona con dos modelos insignia.

ESM2 — un modelo de lenguaje para proteínas de Meta, entrenado en UniRef50. Analizó cientos de millones de secuencias de aminoácidos y aprendió a predecir propiedades estructurales y funcionales de proteínas; las versiones varían de 8 millones a 15 mil millones de parámetros.

Evo 2 — un modelo de lenguaje para ADN del Arc Institute, entrenado en 9,3 billones de nucleótidos de genomas de 128.000 especies. Predice elementos regulatorios funcionales y modela las consecuencias de mutaciones genómicas.

Ambas clases de modelos se transfieren bien a tareas especializadas: anotación de función proteica, predicción de localización subcelular, evaluación de patogenicidad de variantes. Pero el fine-tuning completo de tales modelos es costoso y consume tiempo.

Por Qué LoRA Cambia el Cálculo

LoRA, en lugar de actualizar todos los pesos, añade matrices compactas de bajo rango a las capas de transformer — los parámetros restantes están congelados. Solo estas pequeñas inserciones pasan a través de la retropropagación.

Números clave para modelos biológicos:

• El número de parámetros entrenables se reduce en 90–99%
• ESM2 con 3 mil millones de parámetros con LoRA se ajusta en 1–2 GPUs en lugar de docenas de A100s
• El costo del experimento cae de miles a dólares únicos por hora de GPU
• La duración del entrenamiento se reduce de semanas a varias horas
• La calidad en tareas especializadas estrechas es comparable al fine-tuning completo

Para la biología esto es fundamentalmente importante: los datasets de laboratorio son frecuentemente pequeños — cientos o miles de ejemplos. El fine-tuning del modelo grande completo en tal volumen lleva a pérdida de generalización, mientras que LoRA con un número mínimo de parámetros nuevos funciona notablemente mejor.

Qué Hay en BioNeMo Recipes

BioNeMo Recipes es un conjunto de pipelines de configuración listos con documentación, ejemplos y pruebas. Un investigador selecciona un modelo, tarea y dataset, después de lo cual la receta automáticamente establece hiperparámetros, configura la carga de pesos y logging.

El kit incluye:

• Soporte para LoRA y fine-tuning completo para ESM2 y Evo 2
• Integración con NVIDIA NeMo Framework e infraestructura DGX
• Formatos listos para datasets de proteínas y genómicos
• Logging a través de Weights & Biases y checkpoints automáticos

Público objetivo — grupos biomédicos y empresas farmacéuticas que necesitan especializar el modelo para un organismo específico, tipo de proteína o enfermedad. Tareas típicas: predicción de toxicidad de proteína terapéutica, búsqueda de sitios funcionales en el genoma, evaluación de patogenicidad de variante, diseño de enzimas con propiedades especificadas.

Qué Significa Esto

BioNeMo Recipes reduce la barrera de entrada para equipos sin gran infraestructura de ML. Un laboratorio farmacéutico o grupo académico con dos GPUs ahora puede especializar un modelo fundamental para sus condiciones. Esto acelera el camino desde la hipótesis científica hasta la herramienta computacional — y, en perspectiva, desde el descubrimiento hasta la terapia.

*Meta es reconocida como una organización extremista y está prohibida en la Federación Rusa.