Ai2 apresenta escalonador de GPUs com três mecanismos contra filas e ociosidade

A Ai2 descreveu um novo escalonador para o seu cluster de GPUs. Ele se baseia em três mecanismos: orçamentos de tempo, distribuição justa de recursos (fair-share) e time-slicing. Os objetivos são três: direcionar a computação às pesquisas mais relevantes, reduzir a espera na fila e impedir que os aceleradores fiquem ociosos. O anúncio não traz números: nem o tamanho do cluster, nem a taxa de utilização, nem o tempo de espera antes e depois. Por isso, o texto conta a arquitetura da solução e não apresenta um relatório de resultados.

Três mecanismos em um só sistema

Pela descrição, cada mecanismo resolve um problema distinto de um cluster compartilhado.

Os orçamentos de tempo definem quantas horas de GPU uma equipe ou um projeto pode gastar. O limite torna o consumo visível e obriga a planejar os experimentos com antecedência, em vez de disparar tudo de uma vez.

O fair-share evita que alguém ocupe o cluster por muito tempo. Se uma equipe já consumiu muito, suas novas tarefas cedem lugar às de quem usou menos. É uma ideia clássica do Slurm e de outros escalonadores de HPC, e a Ai2 a aplica ao trabalho de pesquisa.

O time-slicing permite que várias tarefas se revezem no mesmo acelerador. Assim, o hardware caro não fica parado entre execuções curtas, e experimentos pequenos não precisam esperar que uma máquina inteira seja liberada.

Prioridade por impacto

O ponto mais interessante é a expressão «high-impact research». Em geral, os escalonadores se baseiam em critérios formais: quem entrou primeiro na fila, quanto já foi gasto, qual é a cota do usuário. A Ai2 afirma que também leva em conta o valor do trabalho. O anúncio não revela como esse valor é avaliado. Pode ser uma decisão dos líderes de projeto, o tipo de tarefa ou a etapa do experimento. A resposta determina se o sistema vai entregar uma distribuição justa ou apenas mais uma forma de negociar cotas.

Para um instituto sem fins lucrativos, a questão é delicada. A Ai2 treina modelos abertos e conduz pesquisas, mas disputa capacidade de computação com laboratórios cujos clusters são ordens de grandeza maiores. Lá, cada hora de GPU ociosa custa ainda mais caro.

O que o material declara:

• três mecanismos: orçamentos de tempo, fair-share, time-slicing;
• meta de prioridade: apoiar pesquisas de alto impacto;
• meta de fila: reduzir o tempo de espera;
• meta de utilização: manter as GPUs ocupadas;
• resultados quantitativos, tamanho do cluster e detalhes de implementação: não divulgados.

O que dá para aproveitar disso

O modelo vale para qualquer equipe que tenha menos GPUs do que gente querendo usá-las. Algumas conclusões práticas.

Primeiro: comece pela contabilização. Sem dados sobre quem gasta quantas horas de GPU, nem os orçamentos nem o fair-share funcionam. Meça pelo menos dois indicadores: o tempo mediano de fila e a fração do tempo em que os aceleradores estão de fato processando.

Segundo: separe as classes de tarefas. Um treinamento longo e uma depuração curta exigem regras diferentes. O time-slicing é útil para a segunda classe. Na primeira, ele pode causar perda de eficiência por causa da troca de contexto e da disputa por memória da GPU.

Terceiro: decida de antemão como o «impacto» será expresso. Se o critério não estiver escrito, as prioridades viram negociação, e os orçamentos rígidos passam a ser contornados.

Vale esperar até que a Ai2 publique números. Se a fila diminuiu, quanto a utilização subiu e como as equipes reagiram aos limites, isso mostrará se o esquema funciona melhor que um fair-share comum. Por enquanto, é a proposta de uma boa prática de engenharia, sem provas de sua eficácia.