Sakana AI Présente DiffusionBlocks : une Méthode d'Entraînement de Réseaux de Neurones par Blocs

Sakana AI a proposé DiffusionBlocks—une méthode qui convertit les réseaux résiduels en blocs entraînables indépendamment. L'idée : interpréter les mises à jour des couches comme des étapes de débruitage inverse. Cela simplifie l'entraînement parallèle et réduit les exigences de synchronisation.