NVIDIA BioNeMo permite ajustar modelos de IA biológicos com LoRA em poucas horas

O NVIDIA BioNeMo lançou um conjunto de "receitas" prontas para ajustar modelos biológicos fundacionais com LoRA (Low-Rank Adaptation). As ferramentas permitem que equipes de pesquisa adaptem grandes modelos de linguagem para proteínas e DNA a tarefas científicas específicas, sem recursos de supercomputação.

Modelos fundacionais na biologia

A biologia computacional passa por uma transformação semelhante à que o processamento de linguagem natural (NLP) viveu com o BERT. Modelos pré-treinados em bilhões de sequências biológicas captam padrões estatísticos que as regras clássicas descrevem mal, mas que os transformers identificam bem.

O BioNeMo Recipes trabalha com dois modelos principais.

ESM2 é um modelo de linguagem para proteínas da Meta, treinado no UniRef50. Ele analisou centenas de milhões de sequências de aminoácidos e aprendeu a prever propriedades estruturais e funcionais de proteínas; as versões variam de 8 milhões a 15 bilhões de parâmetros.

Evo 2 é um modelo de linguagem para DNA do Arc Institute, treinado com 9,3 trilhões de nucleotídeos de genomas de 128 000 espécies. Ele prevê elementos regulatórios funcionais e modela as consequências de mutações genômicas.

Ambas as classes de modelos se transferem bem para tarefas especializadas: anotação de funções de proteínas, previsão de localização subcelular e avaliação da patogenicidade de variantes. Mas retreinar esses modelos por completo é caro e demorado.

Por que o LoRA muda a conta

Em vez de atualizar todos os pesos, o LoRA adiciona às camadas do transformer matrizes compactas de baixo rank, enquanto os demais parâmetros ficam congelados. Apenas essas pequenas inserções passam pela retropropagação do erro.

Números-chave para modelos biológicos:

• O número de parâmetros treináveis cai de 90% a 99%
• O ESM2 de 3 bilhões de parâmetros com LoRA cabe em 1–2 GPUs, em vez de dezenas de A100
• O custo de um experimento cai de milhares para poucos dólares por hora de GPU
• A duração do treinamento diminui de semanas para algumas horas
• A qualidade em tarefas altamente especializadas é comparável à do ajuste completo

Para a biologia, isso é fundamental: os conjuntos de dados de laboratório costumam ser pequenos, com centenas ou milhares de exemplos. Retreinar um modelo grande inteiro com esse volume leva à perda de generalização, enquanto o LoRA, com um número mínimo de parâmetros novos, tem desempenho visivelmente melhor.

O que o BioNeMo Recipes inclui

O BioNeMo Recipes é um conjunto de pipelines de configuração prontos, com documentação, exemplos e testes. O pesquisador escolhe o modelo, a tarefa e o conjunto de dados, e a receita define automaticamente os hiperparâmetros, configura o carregamento dos pesos e o registro de logs.

As ferramentas incluem:

• Suporte a LoRA e a ajuste completo para ESM2 e Evo 2
• Integração com o NVIDIA NeMo Framework e com a infraestrutura DGX
• Formatos prontos para conjuntos de dados de proteínas e genômicos
• Logs via Weights & Biases e checkpoints automáticos

O público-alvo são grupos biomédicos e farmacêuticas que precisam especializar um modelo para um organismo, um tipo de proteína ou uma doença específicos. Entre as tarefas típicas estão prever a toxicidade de proteínas terapêuticas, encontrar sítios funcionais no genoma, avaliar a patogenicidade de variantes raras e projetar enzimas com propriedades definidas.

O que isso significa

O BioNeMo Recipes reduz a barreira de entrada para equipes sem grande infraestrutura de ML. Um laboratório farmacêutico ou um grupo acadêmico com duas GPUs agora pode especializar um modelo fundacional para suas próprias condições. Isso encurta o caminho da hipótese científica à ferramenta computacional e, no futuro, da descoberta à terapia.

*A Meta foi declarada organização extremista e é proibida na Rússia.