Un transformer físico construido solo con transistores aprende in-context learning en simulación

Un grupo de investigadores ha mostrado en simulación un sistema físico que aprende sin aritmética digital y que, aun así, resuelve in-context learning, algo que suele asociarse a los transformers. El circuito está formado únicamente por transistores y resistencias entrenables. La multiplicación que requiere la dot-product attention la realizan MOSFET en régimen subumbral. Cada parámetro del optimizador Lion se almacena en un condensador. El trabajo se ha publicado en arXiv, en la sección cs.LG. Es un preprint y todavía no existe hardware en silicio.

Por qué el aprendizaje físico se había quedado en los perceptrones multicapa

La equilibrium propagation y el coupled learning pertenecen al aprendizaje físico. El sistema recibe un empujón (nudge) que lo lleva del estado libre al estado objetivo, y una regla local actualiza los parámetros según la diferencia entre ambos estados. Para ello, la información debe fluir por el sistema físico en ambos sentidos, de la entrada a la salida y de vuelta. Mientras los circuitos son simples, esto ocurre de forma natural. Por su expresividad, estos sistemas siguen en la clase de los perceptrones multicapa. Pueden aproximar cualquier función, pero rinden mal en las tareas asociativas que los transformers resuelven con facilidad.

La causa es la no linealidad. El mecanismo de atención necesita multiplicar magnitudes, y los circuitos que lo hacen rompen el flujo inverso: la señal ya no regresa de la forma que exige el cálculo del gradiente. Los autores atacaron justo ese punto.

Circuito doble y la exponencial del MOSFET

El flujo inverso se restauró de forma explícita. En el circuito doble (dyadic) se añadieron elementos adicionales que se encargan de llevar la señal hacia atrás. Sobre esa base se construyó el mecanismo de atención. Este aprovecha la ley exponencial de la corriente de un MOSFET en régimen subumbral: la corriente crece exponencialmente con el voltaje de puerta, y el producto de exponenciales es igual a la exponencial de la suma. Así, la multiplicación se convierte en una operación que el propio transistor realiza. Para la softmax se emplea el mismo bloque de MOSFET.

En la simulación, los componentes inversos son realistas, no ideales. Transmiten solo un gradiente aproximado. Aun así, el entrenamiento converge en una tarea sencilla de in-context learning.

Parámetros principales del trabajo:

• Plataforma: circuito totalmente transistorizado, verificado en simulación.
• Atención: ley exponencial de la corriente de un MOSFET en régimen subumbral.
• Flujo inverso: elementos adicionales en el circuito doble, con gradiente aproximado.
• Función de pérdida: solo entropía cruzada; con error cuadrático medio el entrenamiento no funcionó.
• Señales de nudge: nuevo elemento flotante basado en la misma subetapa de MOSFET que la softmax.
• Parámetros entrenables: resistencias.
• Optimizador: Lion, con un condensador por parámetro como memoria local de las estimaciones previas del gradiente.
• Tarea: in-context learning sencillo.

La conclusión sobre la función de pérdida interesa a los ingenieros. En un sistema así, la elección del loss determina si el entrenamiento es posible siquiera, y eso limita el espacio de decisiones de diseño.

Qué hacer con esto y qué esperar

Para quienes trabajan en ML, ahora mismo no hay utilidad directa: no hay nada que desplegar y la tarea del artículo es sencilla a propósito. El valor principal está en otro lado. Los autores han mostrado que el aprendizaje analógico in situ puede ir más allá de los perceptrones y alcanzar la arquitectura sobre la que hoy se sostienen los LLM. Que Lion se conforme con un condensador por parámetro indica que la cuestión de la memoria local del optimizador también está resuelta a nivel de circuito.

Las grandes preguntas siguen abiertas. Primero, si el circuito logrará pasar de la simulación al silicio. Los transistores subumbral son conocidos por su sensibilidad a la temperatura y a la dispersión de parámetros, y el abstract no aborda esos efectos. Segundo, cómo se comportará el sistema con tareas más complejas que un in-context learning sencillo y con más parámetros. Tercero, cuál será el consumo energético real: el abstract no ofrece esas cifras y, sin ellas, no se puede comparar con una GPU.

Conviene seguir el primer prototipo físico, la ampliación del conjunto de tareas y las mediciones de energía por operación. Si se dan esos pasos, el enfoque tendrá opciones de ocupar un nicho en el que importen el bajo consumo y el entrenamiento directamente en el dispositivo.