NVIDIA BioNeMo permite afinar modelos de IA biológicos con LoRA en cuestión de horas

NVIDIA BioNeMo ha lanzado un conjunto de «recetas» listas para usar que permiten afinar modelos biológicos fundacionales con LoRA (Low-Rank Adaptation). Las herramientas permiten a los equipos de investigación adaptar grandes modelos de lenguaje para proteínas y ADN a tareas científicas concretas sin recursos de supercomputación.

Modelos fundacionales en biología

La biología computacional atraviesa una transformación similar a la que vivió el procesamiento del lenguaje natural (NLP) con BERT. Los modelos preentrenados con miles de millones de secuencias biológicas captan patrones estadísticos que las reglas clásicas describen mal, pero que los transformadores detectan bien.

BioNeMo Recipes trabaja con dos modelos insignia.

ESM2 es un modelo de lenguaje para proteínas de Meta, entrenado con UniRef50. Analizó cientos de millones de secuencias de aminoácidos y aprendió a predecir propiedades estructurales y funcionales de las proteínas; sus versiones van de 8 millones a 15 000 millones de parámetros.

Evo 2 es un modelo de lenguaje para ADN de Arc Institute, entrenado con 9,3 billones de nucleótidos de genomas de 128 000 especies. Predice elementos reguladores funcionales y modela las consecuencias de las mutaciones genómicas.

Ambas clases de modelos se transfieren bien a tareas especializadas: anotación de funciones de proteínas, predicción de localización subcelular y evaluación de la patogenicidad de variantes. Pero reentrenar por completo estos modelos es caro y lento.

Por qué LoRA cambia las cuentas

En lugar de actualizar todos los pesos, LoRA añade a las capas del transformador matrices compactas de bajo rango, mientras el resto de los parámetros permanece congelado. Solo estas pequeñas inserciones pasan por la retropropagación del error.

Cifras clave para los modelos biológicos:

• El número de parámetros entrenables se reduce entre un 90 % y un 99 %
• ESM2 con 3000 millones de parámetros y LoRA cabe en 1–2 GPU en lugar de decenas de A100
• El coste de un experimento baja de miles de dólares a unos pocos dólares por hora de GPU
• La duración del entrenamiento pasa de semanas a unas pocas horas
• La calidad en tareas muy especializadas es comparable a la del afinado completo

En biología esto es fundamental: los conjuntos de datos de laboratorio suelen ser pequeños, de cientos o miles de ejemplos. Reentrenar un modelo grande completo con ese volumen provoca pérdida de generalización, mientras que LoRA, con un número mínimo de parámetros nuevos, funciona claramente mejor.

Qué incluye BioNeMo Recipes

BioNeMo Recipes son pipelines de configuración listos para usar, con documentación, ejemplos y pruebas. El investigador elige el modelo, la tarea y el conjunto de datos, y la receta fija automáticamente los hiperparámetros, configura la carga de pesos y activa el registro de métricas.

Las herramientas incluyen:

• Soporte de LoRA y de afinado completo para ESM2 y Evo 2
• Integración con NVIDIA NeMo Framework y con la infraestructura DGX
• Formatos listos para conjuntos de datos de proteínas y genómicos
• Registro mediante Weights & Biases y puntos de control automáticos

El público objetivo son los grupos biomédicos y las farmacéuticas que necesitan especializar un modelo para un organismo, un tipo de proteína o una enfermedad concretos. Entre las tareas típicas figuran predecir la toxicidad de proteínas terapéuticas, buscar sitios funcionales en el genoma, evaluar la patogenicidad de variantes raras y diseñar enzimas con propiedades determinadas.

Qué significa

BioNeMo Recipes rebaja la barrera de entrada para equipos sin una gran infraestructura de aprendizaje automático. Un laboratorio farmacéutico o un grupo académico con dos GPU puede ahora especializar un modelo fundacional para sus propias condiciones. Eso acorta el camino de la hipótesis científica a la herramienta computacional y, a largo plazo, del descubrimiento a la terapia.

*Meta ha sido declarada organización extremista y está prohibida en Rusia.