ThunderKittens de Together AI : un nouveau langage pour des kernels GPU efficaces

Together AI a lancé ThunderKittens, un langage de programmation compact pour écrire des kernels GPU optimisés. Sur la puce H100, il s'exécute nettement plus vite que FlashAttention2 classique. L'interface ressemble à PyTorch, ce qui permet aux ingénieurs ML de le prendre rapidement en main. Les auteurs indiquent clairement qu'il s'agit d'un projet expérimental. Le code est entièrement open source et déjà intégré à NanoGPT pour la formation des développeurs.