Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураРазбор · На радарIEEE Spectrum AI→ оригинал

Оптические чипы для ИИ обещают тратить в 10–80 раз меньше энергии, чем GPU

Ответы нейросетей (инференс) упёрлись в электричество, поэтому стартапы снова пробуют считать светом. Оптика умножает матрицу чисел на вектор почти без затрат энергии, но кодировать данные в свет дорого. Реальная цель — тратить в 10–80 раз меньше энергии, чем видеокарты GPU, а не в 100 000 раз, как в лабораторных прикидках. Для практика это сигнал: свет станет ускорителем части задач, а не заменой GPU.

AI-обработка оригинала IEEE Spectrum AI; редакция Hamidun News
Оптические чипы для ИИ обещают тратить в 10–80 раз меньше энергии, чем GPU
Источник: IEEE Spectrum AI. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникIEEE Spectrum AI ↗
Главный редактор
Оценка оптических компаний$2,22 млрд против $0,4 млрд в 2022 году
Ключевой факт #2Выигрыш от света начинается при векторах длиной 1000–10 000 элементов
Закон Амдалаесли 10% кода не ускорить, максимум — 10-кратный выигрыш

Каждый ответ ChatGPT или другого чат-бота стоит электричества, и в какой-то момент именно оно, а не деньги на чипы, стало главным ограничением. Инференс, то есть ответы обученной модели на запросы пользователей, уже заставил строить огромные дата-центры. Поэтому старая идея — считать не электрическим током, а светом — вдруг вернулась из лабораторий в бизнес. По данным IEEE Spectrum, суммарная оценка компаний в этой нише достигла $2,22 млрд против $0,4 млрд в 2022 году. Их обещание звучит так: сделать ту же математику, что считают GPU (видеокарты Nvidia и аналоги), но потратить на неё в 10–80 раз меньше энергии.

«Интерес к фотонике во многом вызван тем, что инференс ИИ буквально упёрся в мощность, причём довольно резко», — говорит Питер Макмахон, профессор Корнелльского университета, который изучает оптические вычисления больше десяти лет. Оптические стартапы появляются в США, Китае, Германии и Израиле.

Как свет умножает матрицы

Основная операция инференса — умножение матрицы на вектор. Представьте, что вектор — это ваш запрос, превращённый в набор чисел, а матрица — таблица весов модели. Видеокарты умножают одно на другое бесчисленное число раз в секунду.

Ещё в 1978 году Джозеф Гудман с коллегами предложил простую оптическую схему. Ряд светодиодов кодирует числа вектора яркостью: чем ярче диод, тем больше значение. Цилиндрическая линза растягивает этот свет по вертикали, фактически копируя вектор N раз. Затем свет проходит через пиксельный аттенюатор размером N на N: каждый пиксель приглушает свет в соответствии со значением матрицы, и это и есть умножение. Вторая линза собирает свет по строкам и суммирует его, а ряд детекторов считывает итоговый вектор.

Выгода в масштабировании. В электронике каждое из N² умножений требует энергии, поэтому затраты растут как N². В оптике умножение пассивно: пока матрица не меняется, прохождение света через неё почти ничего не стоит. Платить нужно за кодирование вектора и считывание ответа, а это порядка N.

В 2022 году команда Макмахона показала оптическую нейросеть, которая тратила меньше одного фотона, около 2,5×10⁻¹⁹ Дж, на одно умножение. В обычном компьютере умножение стоит от 10⁻¹⁴ до 10⁻¹² Дж, так что на бумаге экономия достигает 100 000 раз.

Почему обещания скромнее лабораторных цифр

Сам Макмахон предостерегает от таких прикидок. Во-первых, в расчёт не вошла цена кодирования данных в свет. Допустим, умножение в электронике стоит 1 пикоджоуль, а кодирование одного элемента вектора в оптике — 1000 пикоджоулей. Тогда электроника выигрывает, пока вектор короче 1000 элементов. По словам Макмахона, это недалеко от реальности: оптика начинает выигрывать где-то между N = 1000 и N = 10 000.

Во-вторых, работает закон Амдала. Если ускоритель справляется с 90% кода, а остальные 10% ускорить не может, максимум — десятикратный выигрыш. Умножение матриц — лишь часть инференса, есть ещё нелинейные операции, и их по-прежнему считает электроника. Поэтому оптические компании целятся не в 100 000 раз, а в 10–80 раз по энергоэффективности относительно GPU. Остаётся вопрос, успеют ли они дойти до массового применения раньше, чем обычные чипы сами станут экономнее.

Кто и как строит

Инференс обычно делят на две фазы: prefill, когда модель обрабатывает входной запрос, и decode, когда ответ генерируется по одному токену. Prefill тяжелее по вычислениям: там одна и та же матрица многократно умножается на разные векторы. Именно туда логично целиться оптике.

Британский стартап Lumai из Оксфорда вдохновлялся схемой Гудмана сильнее других. Вместо неподвижного аттенюатора он использует программируемый пространственный модулятор света — пиксельную мембрану, похожую на продвинутый жидкокристаллический дисплей, которая меняет и яркость, и фазу света. Свет идёт по воздуху, а не по волноводам на чипе. Вектор кодируется в свет, копируется линзой, проходит модулятор, собирается второй линзой и снова превращается в цифровой сигнал. Нелинейные функции считает электроника. По словам руководителя продукта Филлипа Бурра, полное умножение матрицы на вектор завершается за один оптический цикл.

Другая британская компания, Optalysys, идёт иначе: встраивает оптические элементы в сетевой тракт дата-центров, где свет уже используется для передачи данных. Её базовый элемент на чипе — калькулятор преобразования Фурье.

Что это значит для практиков

Все цифры выигрыша пока остаются целями компаний, а не измерениями в продакшене. Но выводы уже полезны. Оптика вряд ли заменит видеокарты целиком: реалистичнее гибрид, где свет считает тяжёлые умножения, а электроника — всё остальное. Кроме того, выигрыш появляется только на достаточно больших матрицах, поэтому первыми кандидатами станут крупные модели и длинные контексты. Тем, кто планирует инфраструктуру на несколько лет вперёд, стоит следить за этой нишей, но не закладывать её в бюджеты, пока нет серийных продуктов. Логан Райт из Йеля добавляет: даже если оптика не выиграет гонку ИИ, технологии, созданные в этой волне, позволят делать фотонные системы с особыми возможностями.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как свет умножает матрицы?

Основная операция инференса — умножение матрицы на вектор. Представьте, что вектор — это ваш запрос, превращённый в набор чисел, а матрица — таблица весов модели. Видеокарты умножают одно на другое бесчисленное число раз в секунду. Ещё в 1978 году Джозеф Гудман с коллегами предложил простую оптическую схему. Ряд светодиодов кодирует числа вектора яркостью: чем ярче диод, тем больше значение. Цилиндрическая линза растягивает этот свет по вертикали, фактически копируя вектор N раз.

Что известно по теме: почему обещания скромнее лабораторных цифр?

Сам Макмахон предостерегает от таких прикидок. Во-первых, в расчёт не вошла цена кодирования данных в свет. Допустим, умножение в электронике стоит 1 пикоджоуль, а кодирование одного элемента вектора в оптике — 1000 пикоджоулей. Тогда электроника выигрывает, пока вектор короче 1000 элементов. По словам Макмахона, это недалеко от реальности: оптика начинает выигрывать где-то между N = 1000 и N = 10 000. Во-вторых, работает закон Амдала.

Что известно по теме: кто и как строит?

Инференс обычно делят на две фазы: prefill, когда модель обрабатывает входной запрос, и decode, когда ответ генерируется по одному токену. Prefill тяжелее по вычислениям: там одна и та же матрица многократно умножается на разные векторы. Именно туда логично целиться оптике. Британский стартап Lumai из Оксфорда вдохновлялся схемой Гудмана сильнее других.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Закрытый клуб практиков · Vibe Club

Внедряйте ИИ быстрее рынка вместе с инженерами и фаундерами

Внутри Vibe Club (hamidun.com/club): еженедельные живые мастермайнды и разборы архитектуры с Жемалом Хамидуном, закрытый Tech Radar, LMS и обновляемая база из 370+ боевых скиллов.

Вступить в Vibe Club →Тест-драйв Академии (72ч)
Что вы думаете?
Загружаем комментарии…