Sharding em LLM: como distribuir computações entre GPUs
Grandes redes neurais exigem distribuição de matrizes entre múltiplos aceleradores. Isso é chamado de sharding. Como os dados são adequadamente particionados de
◐ Ouvir artigo
Grandes redes neurais exigem distribuição de matrizes entre múltiplos aceleradores. Isso é chamado de sharding. Como os dados são adequadamente particionados determina a velocidade e eficiência do treinamento de LLM.