OpenMythos: reconstrucción de código abierto en PyTorch de la arquitectura de Claude Mythos con 770M de parámetros

Anthropic nunca ha publicado un informe técnico sobre Claude Mythos. Eso no ha frenado a la comunidad investigadora, y ahora ha aparecido en GitHub el proyecto OpenMythos, que intenta responder a una pregunta: ¿cómo está construida realmente esta arquitectura?

El autor del proyecto, Kye Gomez, abordó la tarea desde los primeros principios. No se apoyó en filtraciones internas ni en información privilegiada, sino solo en publicaciones revisadas por pares e investigaciones de acceso público sobre arquitecturas de grandes modelos de lenguaje. El resultado es una reconstrucción completa de la supuesta arquitectura de Claude Mythos, implementada en PyTorch.

El principal hallazgo técnico del proyecto: un modelo de 770 millones de parámetros ofrece un rendimiento comparable al de las arquitecturas transformer estándar de 1.300 millones de parámetros. Si esta observación es correcta, apunta a un enfoque radicalmente distinto del escalado: no aumentando el número de parámetros, sino organizándolos de forma más eficiente.

Entre las decisiones arquitectónicas que Gomez reconstruyó en OpenMythos hay mecanismos de atención especializados, esquemas de normalización no estándar y, al parecer, un alejamiento del esquema clásico decoder-only de los modelos tipo GPT. Según el autor, es la combinación de estas decisiones lo que aporta una eficiencia paramétrica anómalamente alta.

Conviene entender que OpenMythos no es ingeniería inversa en sentido técnico ni un intento de reproducir los pesos de un modelo real de Anthropic. Es una hipótesis teórica convertida en código funcional. Gomez lo indica expresamente en la documentación: el proyecto refleja una de las posibles interpretaciones de cómo podría estar construida una arquitectura así, y no pretende reproducir el original con exactitud.

Aun así, la mera existencia del proyecto es reveladora. El hermetismo de Anthropic sobre los detalles arquitectónicos de Claude se ha vuelto la norma: la empresa publica investigación sobre seguridad, interpretabilidad y aprendizaje por refuerzo, pero evita revelar los detalles técnicos de sus modelos insignia. Eso crea un vacío de información que la comunidad llena por su cuenta.

OpenMythos no es el primer intento de este tipo. Antes, la comunidad ya trabajó en reconstruir las arquitecturas de GPT-4 y Gemini Ultra, a partir de indicios indirectos extraídos de benchmarks, del tipo de errores y de publicaciones de autores afiliados. La diferencia es que aquí se trata de una arquitectura que Anthropic nunca ha anunciado oficialmente: Claude Mythos solo aparece en rumores y filtraciones sin confirmar.

Para los profesionales del aprendizaje automático, OpenMythos resulta interesante sobre todo como fuente de ideas arquitectónicas. Aunque la reconstrucción resulte imprecisa, sus soluciones concretas, sobre la organización de la atención, los esquemas de normalización y el enfoque del escalado, pueden ser útiles sea cual sea su origen.

El proyecto se ha publicado con una licencia abierta y el código está disponible en GitHub. Esto significa que cualquiera puede ejecutar la arquitectura, comprobar las características declaradas y proponer sus propias interpretaciones. En la práctica, Gomez ha abierto una investigación colectiva, y ahora la continuará la comunidad.