Ingeniería de características con esteroides: siete bibliotecas de Python que ignoras sin motivo

La ciencia de datos es un 80% de limpiar datos y un 20% de quejarse de lo mucho que tarda limpiar datos. Todos nos hemos acostumbrado al stack estándar, donde Pandas y Scikit-learn parecen eternos e insustituibles. Pero seamos honestos: cuando tus datos dejan de caber en la memoria RAM del portátil, los métodos de siempre convierten la vida en una pesadilla. Mientras tus colegas pelean con bucles e intentan extraer a mano alguna característica de las series temporales, la industria ha lanzado sin hacer ruido herramientas que hacen ese trabajo por ti. Y lo hacen mejor.

El problema de la ingeniería de características moderna es que se ha convertido en un cuello de botella. Hemos aprendido a entrenar modelos rápido, pero la preparación de características (feature engineering) aún suele parecer un oficio artesanal. Resulta extraño, si se tiene en cuenta que de la calidad de las características depende que tu modelo prediga el futuro o se limite a adivinar en los posos del café. Aquí entran las «eminencias grises» del ecosistema Python: bibliotecas que no aparecen en cada segundo tutorial, pero resuelven problemas fundamentales de escalabilidad.

Tomemos Featuretools. Esta biblioteca implementa el concepto de síntesis profunda de características (Deep Feature Synthesis). Entiende las relaciones entre las tablas de una base de datos relacional y crea automáticamente características complejas que a una persona le llevarían semanas. En lugar de escribir las agregaciones a mano, basta con explicarle a la biblioteca la estructura de los datos y ella devuelve cientos de características relevantes. Es el paso de la producción artesanal a la cadena de montaje industrial. Y es justo lo que hace falta cuando pasas del prototipo al producto real.

Para quienes trabajan con series temporales existe TSFRESH. Si alguna vez has intentado extraer características de señales o cotizaciones financieras a mano, sabes lo penoso que es. TSFRESH calcula automáticamente cientos de características estadísticas, desde medias simples hasta complejos coeficientes de Fourier. Además, sabe evaluar la relevancia de cada característica y descarta la basura desde la entrada. Eso ahorra no solo tu tiempo, sino también recursos de cómputo, que hoy cuestan una barbaridad.

Tampoco hay que olvidar Woodwork, que resuelve el problema de la tipificación semántica. En el Python estándar, un tipo de dato es solo un número o una cadena. Pero para el modelo importa si ese número es un código postal, una edad o el identificador de una categoría. Woodwork permite colocar a los datos etiquetas «inteligentes» que otras bibliotecas leen de forma automática. Así se evita toda una capa de errores tontos, como que el modelo intente calcular la media aritmética de un número de teléfono.

¿Por qué importa precisamente ahora? Porque la era del «tira los datos a XGBoost» se acabó. Hoy gana quien sabe escalar sus pipelines de forma rápida y barata. Usar bibliotecas como Feature-engine o BorutaPy permite estandarizar la selección de características y hacerla reproducible. Es crítico en el desarrollo en equipo, donde un ingeniero no debería tener que adivinar qué programó su predecesor en la línea tres mil de un cuaderno de Jupyter.

Al final, pasarse a herramientas automatizadas de ingeniería de características es una cuestión de supervivencia ante el aumento del volumen de datos. Si sigues escribiendo funciones a medida para cada columna nueva, pierdes frente a quienes usan frameworks listos. La escalabilidad no empieza comprando GPU nuevas, sino con cómo organizas el trabajo con la información en el nivel más básico.

Lo esencial: la ingeniería de características manual está muriendo, y es una excelente noticia. ¿Podrás rehacer tu flujo de trabajo antes de que tus datos se vuelvan ingobernables?