Transformer físico feito só de transistores aprende in-context learning em simulação

Um grupo de pesquisadores demonstrou, em simulação, um sistema físico que aprende sem aritmética digital e ainda dá conta de in-context learning, algo que normalmente se associa aos transformers. O circuito é formado apenas por transistores e resistores treináveis. A multiplicação exigida pela dot-product attention é feita por MOSFETs em regime de subthreshold (subliminar). Cada parâmetro do otimizador Lion é armazenado em um único capacitor. O trabalho foi publicado no arXiv, na seção cs.LG, como preprint, e ainda não existe hardware físico.

Por que o aprendizado físico ficou preso aos perceptrons multicamadas

Equilibrium propagation e coupled learning fazem parte do aprendizado físico. O sistema recebe um empurrão (nudge) do estado livre em direção ao estado-alvo, e uma regra local atualiza os parâmetros com base na diferença entre os dois estados. Para isso, a informação precisa fluir pelo sistema físico nos dois sentidos: da entrada para a saída e de volta. Enquanto os circuitos são simples, isso acontece naturalmente. Em expressividade, esses sistemas continuam na classe dos perceptrons multicamadas. Eles podem aproximar qualquer função, mas se saem mal em tarefas associativas, que os transformers resolvem com facilidade.

A causa está na não linearidade. O mecanismo de atenção precisa multiplicar grandezas, e os circuitos que fazem isso quebram o fluxo reverso: o sinal deixa de voltar da forma necessária para calcular o gradiente. Os autores atacaram justamente esse ponto.

Circuito duplo e a exponencial do MOSFET

O fluxo reverso foi recuperado de forma explícita. Ao circuito duplo (dyadic), os autores acrescentaram elementos adicionais responsáveis pelo caminho de volta do sinal. Sobre essa base, construíram o mecanismo de atenção. Ele explora a lei exponencial da corrente do MOSFET em subthreshold: a corrente cresce exponencialmente com a tensão no gate, e o produto de exponenciais é igual à exponencial da soma. Assim, a multiplicação vira uma operação que o próprio transistor executa. O mesmo bloco de MOSFETs foi usado para o softmax.

Na simulação, os componentes reversos são realistas, e não ideais. Eles transmitem apenas um gradiente aproximado. Mesmo assim, o treinamento converge em uma tarefa simples de in-context learning.

Principais parâmetros do trabalho:

• Plataforma: circuito totalmente transistorizado, verificado em simulação.
• Atenção: lei exponencial da corrente do MOSFET em subthreshold.
• Fluxo reverso: elementos adicionais no circuito duplo, com gradiente aproximado.
• Função de perda: apenas entropia cruzada; com erro quadrático médio, o treinamento não funcionou.
• Sinais de nudge: novo elemento flutuante baseado na mesma subunidade de MOSFETs usada no softmax.
• Parâmetros treináveis: resistores.
• Otimizador: Lion, com um capacitor por parâmetro como memória local das estimativas anteriores do gradiente.
• Tarefa: in-context learning simples.

A conclusão sobre a função de perda interessa aos engenheiros. Nesse tipo de sistema, a escolha da loss determina se o treinamento é viável ou não, o que restringe o espaço de decisões de projeto.

O que fazer com isso e o que esperar

Para quem trabalha com ML, não há utilidade direta hoje: não há nada para implantar, e a tarefa do artigo é propositalmente simples. O valor principal está em outro ponto. Os autores mostraram que o aprendizado analógico in situ pode ir além dos perceptrons e alcançar a arquitetura que sustenta os LLMs atuais. O Lion, que se contenta com um capacitor por parâmetro, indica que a questão da memória local do otimizador também foi pensada no nível do circuito.

As principais perguntas continuam em aberto. Primeiro, se o circuito conseguirá sair da simulação e chegar ao silício. Transistores em subthreshold são conhecidos pela sensibilidade à temperatura e à variação de parâmetros, e o abstract não trata desses efeitos. Segundo, como o sistema se comportará em tarefas mais complexas do que o in-context learning simples e com mais parâmetros. Terceiro, quais serão os números reais de consumo de energia: o abstract não traz esses dados, e sem eles não dá para comparar com GPUs.

Vale acompanhar o primeiro protótipo físico, a ampliação do conjunto de tarefas e as medições de energia por operação. Se esses passos forem dados, a abordagem pode ganhar espaço em um nicho em que baixo consumo de energia e treinamento diretamente no dispositivo são importantes.