OpenMythos : une reconstruction open source en PyTorch de l'architecture de Claude Mythos, avec 770M de paramètres

Anthropic n'a jamais publié de rapport technique sur Claude Mythos. Cela n'a pas arrêté la communauté de chercheurs, et un projet baptisé OpenMythos est désormais apparu sur GitHub, avec une ambition : répondre à la question de savoir comment cette architecture est réellement conçue.

L'auteur du projet, Kye Gomez, a abordé la tâche à partir des premiers principes. Il ne s'est appuyé ni sur des fuites internes ni sur des informations d'initiés, mais uniquement sur des publications évaluées par les pairs et sur des recherches publiques consacrées aux architectures de grands modèles de langage. Le résultat est une reconstruction complète de la supposée architecture de Claude Mythos, implémentée en PyTorch.

Principale trouvaille technique du projet : un modèle de 770 millions de paramètres affiche des performances comparables à celles des architectures transformer standard de 1,3 milliard de paramètres. Si cette observation est correcte, elle indique une approche radicalement différente du passage à l'échelle : non pas en multipliant les paramètres, mais en les organisant plus efficacement.

Parmi les choix architecturaux que Gomez a reconstruits dans OpenMythos figurent des mécanismes d'attention spécialisés, des schémas de normalisation atypiques et, apparemment, une rupture avec le schéma decoder-only classique des modèles de type GPT. Selon l'auteur, c'est la combinaison de ces choix qui explique l'efficacité paramétrique anormalement élevée.

Il faut bien comprendre qu'OpenMythos n'est pas de la rétro-ingénierie au sens technique, ni une tentative de reproduire les poids d'un véritable modèle d'Anthropic. C'est une hypothèse théorique traduite en code fonctionnel. Gomez le dit explicitement dans la documentation : le projet reflète une interprétation possible de ce que pourrait être une telle architecture, et ne prétend pas reproduire l'original à l'identique.

L'existence même d'un tel projet n'en reste pas moins révélatrice. Le secret qu'Anthropic entretient sur les détails architecturaux de Claude est devenu la norme : l'entreprise publie des travaux sur la sécurité, l'interprétabilité et l'apprentissage par renforcement, mais évite de dévoiler les détails techniques de ses modèles phares. Cela crée un vide d'information que la communauté comble elle-même.

OpenMythos n'est pas la première tentative de ce genre. La communauté a déjà travaillé à reconstruire les architectures de GPT-4 et de Gemini Ultra, à partir d'indices indirects tirés des benchmarks, de la nature des erreurs et de publications d'auteurs affiliés. La différence, c'est qu'il s'agit ici d'une architecture qu'Anthropic n'a jamais annoncée officiellement : Claude Mythos n'apparaît que dans des rumeurs et des fuites non confirmées.

Pour les praticiens de l'apprentissage automatique, OpenMythos présente surtout un intérêt comme source d'idées architecturales. Même si la reconstruction se révèle inexacte, ses solutions concrètes, sur l'organisation de l'attention, les schémas de normalisation et l'approche du passage à l'échelle, peuvent s'avérer utiles quelle que soit leur origine.

Le projet est publié sous licence ouverte et le code est disponible sur GitHub. Chacun peut donc exécuter l'architecture, vérifier les caractéristiques annoncées et proposer ses propres interprétations. En somme, Gomez a ouvert une enquête collective, que la communauté va désormais poursuivre.