Энтузиаст запустил Qwen на FPGA за $50 с 4 ГБ памяти на базе openTPU

Инженер-энтузиаст опубликовал на Habr первую часть истории о самодельном ИИ-ускорителе. Он взял открытый проект openTPU, купил плату с FPGA за $50 и 4 ГБ памяти, подключил её к обычному мини-ПК и запустил на ней языковую модель семейства Qwen. Замеров скорости в анонсе нет: ни токенов в секунду, ни размера модели, ни разрядности весов. Но сама конфигурация уже показывает, как низко опустился порог входа в эксперименты с аппаратным ИИ.

Что известно из первой части

По опубликованному тексту картина такая:

• Ускоритель: FPGA стоимостью около $50.
• Память: 4 ГБ.
• Хост: обычный мини-ПК, никакого серверного железа.
• Архитектура: openTPU, открытая реализация идей тензорного процессора.
• Модель: Qwen, семейство языковых моделей Alibaba.
• Формат: первая часть серии, продолжение впереди.

Не раскрыто, какая именно версия Qwen запущена, как она квантована и какой интерфейс связывает плату с ПК. От этих трёх параметров зависит почти всё, поэтому оценивать результат до выхода второй части рано.

Почему TPU-подход подходит для FPGA

Первый TPU Google, описанный в публикации 2017 года, строился вокруг систолического массива: 256×256 восьмибитных умножителей с накоплением, то есть 65 536 блоков, через которые данные проходят волной. Такая структура регулярна, хорошо ложится на программируемую логику и не требует сложного управления. На ней можно собрать матричный умножитель, а матричное умножение составляет основу работы трансформеров.

FPGA в этой схеме играет роль макетной платы для чипа. Дизайн можно переписать, поменять размер массива, разрядность и схему работы с памятью, не заказывая кремний. За $50 это сильный аргумент для обучения и прототипирования.

Главное ограничение: память

Генерация текста упирается не в вычисления, а в пропускную способность памяти. На каждый токен приходится прочитать почти все веса модели. Дешёвая FPGA-плата с одним модулем памяти даст скромную шину, и именно она определит скорость, а не число умножителей в массиве.

Объём в 4 ГБ задаёт потолок размера модели. По нашей прикидке, при 4-битной квантизации модель на несколько миллиардов параметров занимает порядка 2 ГБ, и для кэша контекста остаётся запас. Поэтому разумно ждать небольшую версию Qwen с агрессивным сжатием. Модели в десятки миллиардов параметров на такой плате не поместятся.

Что смотреть во второй части

Проект полезен инженерам, которые хотят понять, как устроен ускоритель изнутри, и студентам, изучающим архитектуру ИИ-чипов. Заменой видеокарты он не станет, и автор, судя по заголовку, этого не обещает.

Когда выйдет продолжение, проверьте четыре вещи:

• скорость генерации в токенах в секунду на конкретной модели;
• схему квантизации и потери качества;
• пропускную способность памяти и канал связи с хостом;
• наличие открытого кода и инструкции для воспроизведения за те же $50.

Если репозиторий окажется открытым, а сборка воспроизводимой, из заметки получится хорошая учебная площадка для тех, кто хочет попробовать аппаратный ИИ без бюджета на GPU.