Desenvolvedor Otimizou Biblioteca ML lancetnic para Treinamento em 16 GB de RAM

Desenvolvedor otimizou biblioteca ML lancetnic para treinamento em 16 GB de RAM

O desenvolvedor da biblioteca ML aberta lancetnic descobriu que ao treinar em grandes conjuntos de dados de texto ela sobrecarregava a RAM do computador: em um notebook com 16 GB de RAM o modelo não conseguia ser treinado nem mesmo em 25 mil linhas de texto. Ao investigar o problema, o autor encontrou várias razões para o gasto crítico de memória.

Qual era o problema

A biblioteca lancetnic foi projetada para treinar modelos em dados de texto, mas ao trabalhar com grandes conjuntos de dados o processo de treinamento atingia o limite físico de RAM muito antes de ser concluído. Em um notebook típico com 16 GB de RAM uma tentativa de treinar um modelo até mesmo em um conjunto de dados relativamente modesto de 25 mil linhas terminaria em sobrecarga de memória. O autor descreve isso como um problema com o qual se deparou pessoalmente ao trabalhar na própria biblioteca, em vez de como um cenário teórico.

O que o autor encontrou

O autor descreve que começou a investigar as causas do falho e descobriu alguns motivos específicos para o gasto crítico de memória no código da biblioteca. Este é o tipo de problema que qualquer desenvolvedor de ferramentas ML enfrenta ao construir ferramentas destinadas a funcionar sem hardware de servidor caro: o treinamento deve caber na memória de um notebook ordinário, não apenas em estações de trabalho GPU especializadas.

Para bibliotecas que trabalham com dados de texto, uma fonte típica de gasto excessivo de memória é o armazenamento ineficiente de representações intermediárias do conjunto de dados: se todo o corpus e todas as suas transformações vetoriais são mantidas na RAM simultaneamente em vez de processamento em stream em lotes, o consumo de memória cresce linearmente com o tamanho do conjunto de dados e rapidamente atinge o limite físico mesmo em quantidades relativamente pequenas de texto como 25 mil linhas.

Por que isto preocupa mais que apenas o autor

Problemas de memória ao treinar em dados de texto são um gargalo típico para pequenas bibliotecas ML de código aberto escritas por entusiastas sem acesso a clusters de computação industrial. As causas do gasto excessivo de memória encontradas nesses casos são geralmente universais e aparecem de forma semelhante a outros desenvolvedores resolvendo o mesmo problema em seu próprio hardware.

• Biblioteca — lancetnic, uma ferramenta de código aberto para treinar modelos ML em texto
• Hardware de teste — um notebook com 16 GB de RAM
• Conjunto de dados onde ocorreu o falho — 25 mil linhas de texto
• Autor encontrou várias causas específicas para o gasto crítico de memória

Por que o treinamento em um notebook importa

Nem todos os desenvolvedores que experimentam com bibliotecas ML têm acesso a um servidor com dezenas de gigabytes de memória de vídeo ou uma instância GPU em nuvem. Para entusiastas, estudantes e pequenas equipes um notebook com 16 GB de RAM é equipamento de trabalho padrão, e é nessa máquina que a biblioteca deve se comportar de forma previsível. Quando o treinamento falha já em um conjunto de dados de 25 mil linhas — este não é um caso extremo exótico, mas um cenário com o qual uma parte significativa dos usuários potenciais do lancetnic se deparará já na primeira execução.

O que isto significa

A história do lancetnic é um exemplo característico de como o desenvolvimento de ferramentas ML abertas frequentemente procede através da identificação de gargalos em hardware fraco: se uma biblioteca não funciona no notebook de um desenvolvedor comum, seu valor prático para a comunidade é muito reduzido independentemente da qualidade do modelo em si. A análise pública de tal problema é útil para outros autores de ferramentas ML de código aberto similares — ela ajuda a estabelecer o processamento de dados em stream em vez de carregar todo o conjunto de dados na memória de uma vez antecipadamente.