Физический трансформер на одних транзисторах обучили in-context learning в симуляции

Группа исследователей показала в симуляции физическую систему, которая обучается без цифровой арифметики и при этом справляется с in-context learning, то есть с тем, что обычно связывают с трансформерами. Схема целиком состоит из транзисторов и обучаемых резисторов. Умножение, нужное для dot-product attention, выполняют MOSFET в субпороговом режиме. Каждый параметр оптимизатора Lion хранится в одном конденсаторе. Работа вышла на arXiv в разделе cs.LG, это препринт, оборудования в металле пока нет.

Почему физическое обучение упиралось в многослойные перцептроны

Equilibrium propagation и coupled learning относятся к физическому обучению. Систему подталкивают (nudge) от свободного состояния к целевому, а локальное правило обновляет параметры по разнице между двумя состояниями. Для этого информация должна течь через физическую систему в обе стороны, от входа к выходу и обратно. Пока схемы простые, это выполняется само собой. Такие системы по выразительности остаются в классе многослойных перцептронов. Они могут аппроксимировать любую функцию, но плохо справляются с ассоциативными задачами, которые трансформеры решают легко.

Причина в нелинейности. Механизму внимания нужно перемножать величины, а схемы, которые это делают, ломают обратный поток: сигнал обратно проходит уже не так, как нужно для вычисления градиента. Авторы работы пошли прямо в эту точку.

Двойная схема и экспонента MOSFET

Обратный поток восстановили явно. В двойную (dyadic) схему добавили дополнительные элементы, которые отвечают за движение сигнала назад. Поверх этого построили механизм внимания. Он использует экспоненциальный закон тока субпорогового MOSFET: ток растёт экспоненциально с напряжением на затворе, а произведение экспонент равно экспоненте суммы. Так умножение превращается в операцию, которую транзистор выполняет сам. Для softmax применён тот же MOSFET-блок.

Обратные компоненты в симуляции взяты реалистичные, а не идеальные. Они передают только приближённый градиент. Обучение при этом сходится на простой задаче in-context learning.

Основные параметры работы:

• Платформа: полностью транзисторная схема, проверка в симуляции.
• Внимание: экспоненциальный закон тока субпорогового MOSFET.
• Обратный поток: дополнительные элементы в двойной схеме, градиент приближённый.
• Функция потерь: только кросс-энтропия, со среднеквадратичной ошибкой обучение не удалось.
• Nudge-сигналы: новый плавающий элемент на базе той же MOSFET-подсхемы, что и softmax.
• Обучаемые параметры: резисторы.
• Оптимизатор: Lion, один конденсатор на параметр для локальной памяти прошлых оценок градиента.
• Задача: простой in-context learning.

Вывод про функцию потерь интересен инженерам. Выбор лосса в такой системе определяет, получится ли обучение вообще, и это ограничивает пространство проектных решений.

Что с этим делать и чего ждать

Для практиков ML прямой пользы сейчас нет: развёртывать нечего, а задача в статье намеренно простая. Главная ценность в другом. Авторы показали, что аналоговое обучение на месте может выйти за пределы перцептронов и затронуть архитектуру, на которой сегодня держатся LLM. Lion, которому достаточно конденсатора на параметр, говорит, что вопрос локальной памяти для оптимизатора тоже продуман на уровне схемы.

Главные вопросы остаются открытыми. Во-первых, пройдёт ли схема путь от симуляции до кремния. Субпороговые транзисторы известны чувствительностью к температуре и разбросу параметров, и абстракт эти эффекты не раскрывает. Во-вторых, как поведёт себя система на задачах сложнее простого in-context learning и при большем числе параметров. В-третьих, какие будут реальные показатели энергопотребления: в аннотации таких цифр нет, и без них сравнивать с GPU нельзя.

Следить стоит за первым физическим прототипом, за расширением набора задач и за измерениями энергии на операцию. Если эти шаги будут сделаны, подход получит шанс на нишу, где важны малое энергопотребление и обучение прямо на устройстве.