Andrej Karpathy condensa GPT en 243 líneas de Python puro

Existe un género de programación que se acerca más a la poesía que a la ingeniería. Consiste en reducir un sistema complejísimo a su esencia absoluta, eliminando todo lo superfluo hasta que solo quedan matemáticas y lógica puras. Eso es exactamente lo que ha hecho Andrej Karpathy, cofundador de OpenAI y exresponsable de AI en Tesla. En febrero de 2026 publicó microGPT, una implementación completa de la arquitectura transformer que se entrena y genera texto en 243 líneas de Python puro.

Para valorar el alcance de este logro hay que entender el contexto. Los modelos de lenguaje actuales, como GPT-4 o Claude, suponen decenas de miles de millones de parámetros, miles de GPU, meses de entrenamiento y bases de código en las que trabajan cientos de ingenieros. Detrás de todo ese músculo industrial es fácil olvidar que la base es una construcción matemática relativamente elegante, descrita en el célebre artículo de 2017 «Attention Is All You Need». Karpathy tomó esa construcción y demostró que cabe entera en unas pocas pantallas de código: sin PyTorch, sin NumPy, sin una sola biblioteca externa.

MicroGPT implementa todos los componentes clave de la arquitectura transformer: tokenización, codificación posicional, mecanismo de atención (self-attention), propagación hacia delante a través de capas totalmente conectadas, normalización y retropropagación del error para el entrenamiento. Cada operación matemática se ejecuta a mano: multiplicación de matrices, softmax, funciones de activación. Esto significa que cualquier persona con nociones básicas de álgebra lineal y Python puede abrir el archivo y seguir todo el recorrido desde el texto de entrada hasta el token generado, sin toparse con las abstracciones de ningún framework.

Karpathy define modestamente microGPT como un «proyecto artístico», y la etiqueta es más precisa de lo que parece. No es una herramienta para uso práctico: un modelo entrenado de esta forma no mantendrá conversaciones con sentido ni sustituirá a ChatGPT. El rendimiento de Python puro sin bibliotecas optimizadas es varios órdenes de magnitud inferior al de los frameworks especializados. Pero el valor del proyecto está en otro plano. Se trata de desmitificar una tecnología que está definiendo el mundo actual.

Para Karpathy, este enfoque no es nuevo. Hace tiempo que se ha consolidado como uno de los mejores divulgadores del deep learning. Su curso sobre redes neuronales en Stanford se ha convertido en un clásico, y su serie de vídeos «Neural Networks: Zero to Hero» en YouTube ha ayudado a decenas de miles de personas a entender los fundamentos. MicroGPT continúa esa línea, pero sube el listón: si antes Karpathy explicaba las arquitecturas con PyTorch, ahora ha eliminado la última capa de abstracción. Entre el lector y la matemática del transformer ya no queda nada.

Las consecuencias de este paso van más allá de la educación. La industria de la inteligencia artificial vive un momento paradójico: la tecnología es cada vez más influyente, pero también cada vez más opaca. Las empresas cierran sus modelos, publican cada vez menos detalles técnicos y la brecha entre quienes crean la AI y quienes la usan no deja de crecer. En este contexto, proyectos como microGPT cumplen una función esencial: devuelven al espacio público la comprensión fundamental de la tecnología. Cuando un político, un periodista o simplemente un ingeniero curioso de un campo cercano quiere entender qué es realmente GPT, 243 líneas de código ofrecen una respuesta más honesta que cualquier documento de marketing.

También hay una vertiente práctica. Para investigadores noveles y estudiantes, microGPT es el entorno de pruebas ideal. Se puede modificar el mecanismo de atención y ver qué ocurre. Se puede cambiar la función de activación, experimentar con el tamaño de la ventana de contexto o añadir una variante propia de codificación posicional. Cuando todo el código está a la vista y cada línea se entiende, la experimentación deja de ser magia negra y se convierte en método científico.

En definitiva, microGPT recuerda que, detrás de las valoraciones billonarias de las empresas de AI y de los debates sobre la superinteligencia artificial, hay unas matemáticas que caben en unas pocas páginas. La escala y la potencia de cálculo convierten esas matemáticas en algo asombroso, pero su esencia sigue siendo comprensible. Y mientras haya personas como Karpathy dispuestas a dedicar tiempo a simplificar lo complejo, la industria tendrá la oportunidad de ser no solo potente, sino también transparente.