ThunderKittens de Together AI: un nuevo lenguaje para kernels de GPU eficientes
Together AI lanzó ThunderKittens, un lenguaje de programación compacto para escribir kernels de GPU optimizados. En el chip H100, funciona notablemente más rápi
◐ Escuchar artículo
Together AI lanzó ThunderKittens, un lenguaje de programación compacto para escribir kernels de GPU optimizados. En el chip H100, funciona notablemente más rápido que FlashAttention2 clásico. La interfaz se parece a PyTorch, así que los ingenieros de ML lo entienden rápido. Los autores dicen abiertamente que es un proyecto experimental. El código es completamente open source y ya está integrado con NanoGPT para la formación de desarrolladores.