Andrej Karpathy condensó GPT en 243 líneas de Python puro

Existe un género particular de programación que es más cercano a la poesía que a la ingeniería. Cuando el sistema más complejo se comprime a su esencia absoluta, eliminando todo lo innecesario, hasta que solo queda la matemática pura y la lógica. Esto es exactamente lo que hizo Andrey Karpathy, uno de los fundadores de OpenAI y ex director de IA en Tesla, al publicar en febrero de 2026 el proyecto microGPT — una implementación completa de arquitectura transformer que aprende y genera texto en 243 líneas de Python puro.

Para apreciar la escala de este logro, necesitas entender el contexto. Los modelos de lenguaje modernos como GPT-4 o Claude son decenas de miles de millones de parámetros, miles de GPUs, meses de entrenamiento y bases de código donde trabajan cientos de ingenieros. Detrás de todo este poder industrial, es fácil olvidar que en su base se encuentra una construcción matemática relativamente elegante descrita en el famoso artículo de 2017 "Attention Is All You Need". Karpathy tomó esta construcción y demostró que cabe completamente en algunas pantallas de código — sin PyTorch, sin NumPy, sin una sola librería externa.

MicroGPT implementa todos los componentes clave de la arquitectura transformer: tokenización, codificación posicional, el mecanismo de atención (self-attention), propagación directa a través de capas completamente conectadas, normalización y retropropagación para el entrenamiento. Cada operación matemática se realiza manualmente — multiplicación de matrices, softmax, funciones de activación. Esto significa que cualquiera con una comprensión básica de álgebra lineal y Python puede abrir este archivo y rastrear todo el camino desde el texto de entrada hasta el token generado sin encontrarse con abstracciones de frameworks.

Karpathy modestamente llama a microGPT un "proyecto artístico", y hay más precisión en esta definición de lo que podría parecer. No es una herramienta para uso práctico — un modelo entrenado de esta manera no llevará a cabo diálogos significativos y no reemplazará ChatGPT. El rendimiento de Python puro sin bibliotecas optimizadas es varios órdenes de magnitud menor que los frameworks especializados. Pero el valor del proyecto reside en un plano completamente diferente. Es una desmistificación de la tecnología que determina la apariencia del mundo moderno.

Para Karpathy, tal enfoque no es nada nuevo. Se ha establecido desde hace mucho como uno de los mejores divulgadores del aprendizaje profundo. Su curso de redes neuronales en Stanford se convirtió en un clásico, y la serie "Neural Networks: Zero to Hero" en YouTube ayudó a decenas de miles de personas a entender los fundamentos. El proyecto microGPT continúa esta línea pero eleva el nivel: si anteriormente Karpathy explicaba arquitecturas con la ayuda de PyTorch, ahora ha eliminado la última capa de abstracción. Entre el lector y las matemáticas del transformer, no queda nada.

Las consecuencias de este paso van más allá de la educación. La industria de la inteligencia artificial está experimentando un momento paradójico: la tecnología se está volviendo cada vez más influyente, pero al mismo tiempo cada vez más opaca. Las empresas cierran sus modelos, publican menos detalles técnicos, y la brecha entre quienes crean IA y quienes la usan está creciendo. En este contexto, proyectos como microGPT cumplen una función crucial — devuelven la comprensión fundamental de la tecnología al espacio público. Cuando un político, periodista o simplemente un ingeniero curioso de un área relacionada quiere entender qué es realmente GPT, 243 líneas de código proporcionan una respuesta más honesta que cualquier documento de marketing.

También existe un aspecto práctico. Para investigadores principiantes y estudiantes, microGPT es un sandbox ideal. Puedes modificar el mecanismo de atención y ver qué sucede. Puedes cambiar la función de activación, experimentar con el tamaño de la ventana de contexto, añadir tu propia variante de codificación posicional. Cuando todo el código está ante tus ojos y cada línea es comprensible, la experimentación se transforma de magia negra en método científico.

En última instancia, microGPT es un recordatorio de que detrás de las valoraciones de billones de dólares de las empresas de IA y las conversaciones sobre superinteligencia artificial está la matemática que cabe en algunas páginas. La escala y el poder computacional convierten esta matemática en algo notable, pero la esencia en sí permanece accesible para la comprensión. Y mientras haya personas como Karpathy dispuestas a dedicar tiempo a hacer lo complejo simple, la industria tiene la oportunidad de seguir siendo no solo poderosa sino transparente.