Ai2 presenta un planificador de GPU: tres mecanismos contra las colas y la inactividad

Ai2 ha descrito un nuevo planificador para su clúster de GPU. Se basa en tres mecanismos: presupuestos de tiempo, reparto equitativo de recursos (fair-share) y time-slicing. Persigue tres objetivos: dirigir el cálculo hacia las investigaciones más relevantes, reducir la espera en cola y evitar que los aceleradores queden inactivos. El anuncio no ofrece cifras: ni el tamaño del clúster, ni el porcentaje de utilización, ni los tiempos de espera antes y después. Por eso es un relato sobre la arquitectura de la solución, no un informe de resultados.

Tres mecanismos en un solo sistema

Según la descripción, cada mecanismo resuelve un problema distinto de un clúster compartido.

Los presupuestos de tiempo fijan cuántas horas de GPU puede gastar un equipo o un proyecto. El límite hace visible el consumo y obliga a planificar los experimentos con antelación, en lugar de lanzarlo todo sin criterio.

Fair-share vigila que nadie acapare el clúster durante mucho tiempo. Si un equipo ya ha consumido mucho, sus nuevas tareas ceden el turno a las de quienes han usado menos. Es una idea clásica de Slurm y de otros planificadores de HPC, y Ai2 la aplica al trabajo de investigación.

El time-slicing permite que varias tareas compartan un mismo acelerador por turnos. Así, el hardware caro no queda parado entre ejecuciones cortas y los experimentos pequeños no tienen que esperar a que se libere una máquina entera.

Prioridad por impacto

Lo más interesante es la fórmula «high-impact research». Los planificadores suelen basarse en criterios formales: quién llegó primero a la cola, cuánto se ha gastado ya, qué cuota tiene el usuario. Ai2 afirma que también tiene en cuenta el valor del trabajo. El anuncio no revela cómo se evalúa. Puede ser una decisión de los responsables de proyecto, el tipo de tarea o la fase del experimento. De la respuesta depende que el sistema logre un reparto justo o se quede en otra forma de negociar cuotas.

Para un instituto sin ánimo de lucro, la cuestión es delicada. Ai2 entrena modelos abiertos y hace investigación, pero compite por capacidad de cálculo con laboratorios cuyos clústeres son órdenes de magnitud mayores. Allí, cada hora de GPU inactiva cuesta más.

Lo que se declara en el material:

• tres mecanismos: presupuestos de tiempo, fair-share, time-slicing;
• objetivo de prioridades: apoyar la investigación de alto impacto;
• objetivo de cola: reducir el tiempo de espera;
• objetivo de utilización: mantener las GPU ocupadas;
• resultados cuantitativos, tamaño del clúster y detalles de implementación: no se revelan.

Qué se puede aprovechar

El modelo es trasladable a cualquier equipo que tenga menos GPU que personas dispuestas a usarlas. Algunas conclusiones prácticas.

Primera: empiece por la contabilidad. Sin datos sobre quién gasta cuántas horas de GPU, ni los presupuestos ni el fair-share funcionarán. Mida al menos dos indicadores: la mediana del tiempo en cola y la proporción de tiempo en que los aceleradores calculan de verdad.

Segunda: separe las clases de tareas. Un entrenamiento largo y una depuración corta requieren reglas distintas. El time-slicing resulta útil para la segunda clase. En la primera puede acabar restando eficiencia por el cambio de contexto y la competencia por la memoria de la GPU.

Tercera: decida de antemano cómo se expresa el «impacto». Si el criterio no queda por escrito, las prioridades se convertirán en negociaciones y los presupuestos estrictos acabarán esquivándose.

Conviene esperar a que Ai2 publique cifras. Si la cola se ha acortado, cuánto ha subido la utilización y cómo han reaccionado los equipos a los límites mostrará si el esquema funciona mejor que un fair-share convencional. Por ahora es una propuesta de buena práctica de ingeniería, y no hay pruebas de su eficacia.