Un desarrollador optimiza la biblioteca de ML lancetnic para entrenar con 16 GB de RAM

El desarrollador de la biblioteca de ML de código abierto lancetnic descubrió que, al entrenar con grandes datasets de texto, la herramienta saturaba la memoria RAM del ordenador: en un portátil con 16 GB de RAM, el modelo no conseguía entrenarse ni siquiera con 25 mil líneas de texto. Al investigar el problema, el autor encontró varias causas de un consumo de memoria crítico.

Cuál era el problema

La biblioteca lancetnic está pensada para entrenar modelos con datos de texto, pero con datasets grandes el entrenamiento chocaba con el límite físico de la memoria RAM mucho antes de terminar. En un portátil típico con 16 GB de RAM, intentar entrenar un modelo incluso con un dataset relativamente modesto de 25 mil líneas acababa saturando la memoria. El autor lo presenta como un problema que sufrió en primera persona mientras trabajaba en la biblioteca, no como un escenario teórico.

Qué encontró el autor

Según explica el autor, empezó a investigar las causas del fallo y localizó un par de fuentes concretas de consumo crítico de memoria en el código de la biblioteca. Es el tipo de problema al que se enfrenta cualquier desarrollador de herramientas de ML diseñadas para funcionar sin hardware de servidor caro: el entrenamiento tiene que caber en la memoria de un portátil normal, no solo en una estación de trabajo especializada con GPU.

En las bibliotecas que trabajan con datos de texto, una fuente habitual de consumo excesivo de memoria es el almacenamiento ineficiente de las representaciones intermedias del dataset. Si todo el corpus y todas sus transformaciones vectoriales se mantienen a la vez en la RAM, en lugar de procesarse en streaming por lotes, el consumo de memoria crece de forma lineal con el tamaño del dataset. Así, choca rápidamente con el límite físico incluso con volúmenes de texto relativamente pequeños, como 25 mil líneas.

Por qué no afecta solo al autor

Los problemas de memoria al entrenar con datos de texto son un cuello de botella típico de las pequeñas bibliotecas de ML open source, que suelen escribir entusiastas sin acceso a clústeres de computación industriales. Las causas de consumo excesivo que se detectan en estos casos suelen ser universales y aparecen de forma parecida en otros desarrolladores que resuelven la misma tarea con su propio hardware.

• Biblioteca: lancetnic, una herramienta open source para entrenar modelos de ML con texto
• Hardware de prueba: un portátil con 16 GB de memoria RAM
• Dataset con el que se producía el fallo: 25 mil líneas de texto
• El autor encontró varias causas concretas de consumo crítico de memoria

Por qué importa entrenar en un portátil

No todos los desarrolladores que experimentan con bibliotecas de ML tienen acceso a un servidor con decenas de gigabytes de memoria de vídeo o a una instancia de GPU en la nube. Para entusiastas, estudiantes y equipos pequeños, un portátil con 16 GB de RAM es la máquina de trabajo estándar, y es ahí donde la biblioteca debe comportarse de forma predecible. Si el entrenamiento falla ya con un dataset de 25 mil líneas, no se trata de un edge case exótico: es un escenario con el que una parte importante de los posibles usuarios de lancetnic se encontrará en la primera ejecución.

Qué significa

El caso de lancetnic ilustra cómo el desarrollo de herramientas de ML abiertas avanza a menudo detectando cuellos de botella en hardware modesto. Si una biblioteca no funciona en el portátil de un desarrollador medio, su valor práctico para la comunidad cae mucho, independientemente de la calidad del propio modelo. Analizar públicamente un problema así también resulta útil para otros autores de herramientas de ML open source similares: les ayuda a prever desde el principio el procesamiento de datos en streaming, en lugar de cargar todo el dataset en memoria de una vez.