OpenMythos: open-source реконструкция архитектуры Claude Mythos на PyTorch с 770M параметров

Anthropic никогда не публиковала технический доклад по Claude Mythos. Это не остановило исследовательское сообщество — и теперь на GitHub появился проект OpenMythos, который пытается ответить на вопрос: как именно устроена эта архитектура? Автор проекта Kye Gomez подошёл к задаче с позиции первых принципов.

Он не опирался на внутренние утечки или инсайдерскую информацию — только на рецензируемые публикации и публично доступные исследования в области архитектур больших языковых моделей. Результат — полная реконструкция предполагаемой архитектуры Claude Mythos, реализованная на PyTorch. Главная техническая находка проекта: модель с 770 миллионами параметров демонстрирует производительность, сопоставимую со стандартными трансформерными архитектурами объёмом 1,3 миллиарда параметров.

Если это наблюдение корректно, оно указывает на принципиально иной подход к масштабированию — не через наращивание числа параметров, а через более эффективную их организацию. Среди предполагаемых архитектурных решений, которые Gomez реконструировал в OpenMythos, — специализированные механизмы внимания, нестандартные схемы нормализации и, судя по всему, отход от классической decoder-only схемы GPT-подобных моделей. Именно совокупность этих решений, по версии автора, и обеспечивает аномально высокую параметрическую эффективность.

Важно понимать: OpenMythos — это не реверс-инжиниринг в техническом смысле и не попытка воспроизвести веса реальной модели Anthropic. Это теоретическая гипотеза, оформленная в рабочий код. Gomez прямо указывает на это в документации: проект отражает одну из возможных интерпретаций того, как могла бы быть устроена подобная архитектура, а не претендует на точное воспроизведение оригинала.

Тем не менее сам факт появления такого проекта показателен. Закрытость Anthropic в отношении архитектурных деталей Claude стала нормой — компания публикует исследования по безопасности, интерпретируемости и обучению с подкреплением, но избегает раскрывать технические детали своих флагманских моделей. Это создаёт информационный вакуум, который сообщество заполняет самостоятельно.

OpenMythos — уже не первая подобная попытка. Раньше сообщество занималось реконструкцией архитектур GPT-4 и Gemini Ultra, опираясь на косвенные признаки из бенчмарков, характер ошибок и публикации аффилированных авторов. Разница в том, что здесь речь идёт об архитектуре, которую Anthropic вообще не анонсировала официально — Claude Mythos упоминается лишь в контексте слухов и неподтверждённых утечек.

Для практиков машинного обучения OpenMythos интересен прежде всего как источник архитектурных идей. Даже если реконструкция окажется неточной, конкретные решения — по организации внимания, схемам нормализации, подходу к масштабированию — могут оказаться полезными независимо от их происхождения. Проект опубликован под открытой лицензией, код доступен на GitHub.

Это означает, что любой желающий может запустить архитектуру, проверить заявленные характеристики и предложить собственные интерпретации. По сути, Gomez открыл коллективное расследование — и теперь его продолжит сообщество.