Un veterano de Microsoft ejecuta un transformer en una PDP-11 de 6 MHz y 64 KB de memoria

El veterano de Microsoft Dave Plummer ha demostrado que un transformer no solo se puede explicar de forma sencilla, sino también ejecutar literalmente en hardware de finales de los años 70. Su experimento con un miniordenador PDP-11 de 6 MHz y 64 KB de RAM baja la conversación sobre la IA a tierra: entrenar es mucha aritmética, repetición y optimización cuidadosa.

Un ordenador viejo, una tarea nueva

Plummer es conocido como el desarrollador que participó en el pasado en la creación de componentes importantes de Windows. En su nuevo vídeo no se ha lanzado a un truco nostálgico para conseguir likes, sino a demostrar un principio básico de los modelos actuales. El experimento gira en torno a un sistema PDP-11 de 47 años, una máquina de una época en la que nadie soñaba con los grandes modelos de lenguaje.

El contraste es lo que hace convincente el proyecto: si una versión recortada de un transformer se puede entrenar en un dispositivo así, el núcleo de la idea es mucho más simple de lo que parece frente a los centros de datos y los presupuestos de miles de millones.

En la PDP-11 funcionó Attention 11, un modelo escrito en ensamblador de PDP-11 por el desarrollador Damien Boureille. Su tarea es modesta solo a primera vista: tomar una secuencia de ocho números y devolverla en orden inverso. Lo importante no es memorizar unos cuantos ejemplos, sino captar una regla que funcione con datos de entrada nuevos. Es justo lo que subraya Plummer: incluso en un escenario de juguete, el modelo debe aprender la estructura y no limitarse a adivinar la siguiente respuesta por patrón.

Cómo se comprimió el modelo

Para que el experimento tuviera alguna opción de funcionar, los desarrolladores tuvieron que comprimir la arquitectura al máximo. Attention 11 no es una minicopia de ChatGPT, sino un transformer de una sola capa con un único mecanismo de atención, llevado a un estado de minimalismo de ingeniería. El modelo tiene solo 1216 parámetros. En lugar de los grandes bloques de memoria y aceleradores habituales en los proyectos de IA actuales, usa cálculos de coma fija, y el paso hacia delante se redujo a precisión de 8 bits. En esencia, es un esqueleto didáctico de transformer en el que solo se dejó lo imprescindible para demostrar el propio proceso de entrenamiento.

• 1216 parámetros en lugar de miles de millones
• cálculos de coma fija
• precisión de 8 bits en el paso hacia delante
• optimización de casi cada ciclo del procesador
• una tarea de descubrir una regla, no de memorizar ejemplos

Pero incluso con estas limitaciones, el resultado no fue meramente decorativo. Plummer informó de que el modelo alcanzó el 100 % de precisión en unos 350 pasos de entrenamiento. En un sistema PDP-11/44 con tarjeta de memoria caché, tardó unos tres minutos y medio. Comparada con las GPU actuales, es una velocidad de museo, claro. Pero para una máquina de 6 MHz con 64 KB de RAM, el hecho de lograr un entrenamiento completo importa más que el tiempo absoluto: el experimento prueba que los principios de los transformers no requieren magia, solo recursos y buena ingeniería.

No es magia, es matemática

El objetivo principal del proyecto no era encontrar un sustituto práctico y útil de los modelos actuales. Plummer intentó mostrar algo más incómodo para los románticos: en la base de la IA no hay fuego sagrado. Hay un ciclo de errores, correcciones y repeticiones en el que los pesos se ajustan poco a poco a la tarea. Por eso su demostración funciona como antídoto contra la mistificación de las redes neuronales. Elimina la capa de marketing y deja la mecánica desnuda, que se puede observar casi fotograma a fotograma.

«Del adivinar al saber».

Así describe Plummer el momento en que el modelo deja de tropezar y empieza a aplicar de forma estable la regla que ha encontrado.

Ese es el efecto más interesante del experimento: el espectador no ve una respuesta inteligente ya hecha, sino el nacimiento de una capacidad a través de correcciones sucesivas. En medio de tanta charla sobre la AGI, resulta aleccionador. Los sistemas actuales impresionan no porque violen las leyes de la computación, sino porque el mismo mecanismo se ejecuta a una escala colosal, con datos, modelos y clústeres de cómputo incomparablemente mayores.

Qué significa

El experimento con la PDP-11 no demuestra que ChatGPT pueda trasladarse a un ordenador retro. Pero sí muestra con claridad otra cosa: las ideas básicas de los transformers son lo bastante compactas como para entenderlas, reproducirlas y entrenarlas incluso en hardware antiguo. Para el mercado, es un argumento más a favor de los modelos pequeños y eficientes y de la optimización cuidadosa, sobre todo ahora que el coste del cómputo se convierte en un factor competitivo por sí mismo.