Запустил Qwen на FPGA за $50: как работает самодельный AI-ускоритель

Я хотел разработать собственный AI-процессор и нашёл openTPU — открытый ускоритель от Felipe Sens Bonetto, выполненный с участием ИИ-агентов. Вопрос был простой: можно ли действительно взять проект с GitHub, загрузить его в физическую FPGA и запустить настоящий инференс больших языковых моделей?

Купил на AliExpress Xilinx Kintex-7 XC7K480T с 4 ГБ оперативной памяти. Подключил через PCIe к MINISFORUM, собрал прошивку в Vivado, настроил драйверы и PCIe DMA, подготовил софт — и загрузил реальные веса нейросетей. Инференс запустился.

Что получилось

Все системы прошли тесты. PCIe DMA успешно передаёт данные. Подсистема памяти работает полностью. Тесты инструкций процессора проходят 100%. FPGA определяется системой корректно. Языковая модель выполняет инференс на FPGA.

По замерам на такой же плате работают эти модели с такой скоростью:

• Qwen3-0.6B — 31 токен в секунду • Qwen3.5–2B — 12 токенов в секунду • LFM2.5–230M — 86 токенов в секунду • Qwen3.5–35B — 4 токена в секунду (35 миллиардов параметров на 4 ГБ памяти)

Последняя особенно интересна: большую модель удалось запустить на карте с минимальной памятью. FPGA этой архитектуре уже далеко не первый год.

Почему это больше, чем просто ещё одна нейросеть

Обычно GPU воспринимают как готовую платформу: купил видеокарту, установил CUDA, запустил модель. Но идея openTPU в противоположном: не подбирать железо под нейросеть, а создавать собственное специализированное железо под конкретные вычисления.

Именно для этого разрабатывают TPU — процессоры, оптимизированные под операции машинного обучения. Раньше это была задача только Google и NVIDIA, требовала годы разработки. Теперь один инженер может на выходные собрать и испытать прототип. Текущая плата не конкурент H100. Рабочий прототип — не серийный ASIC. Но теперь можно экспериментировать с собственной архитектурой AI-процессора не в теории, а на реальном оборудовании.

Что дальше

Думаю над более быстрой памятью и мощной FPGA для оценки архитектуры собственного inference-чипа. Появляется интересная тенденция: мы уже используем ИИ, чтобы писать программы, а теперь ИИ проектирует процессоры, на которых сам будет работать.

Спасибо Felipe Sens Bonetto за openTPU. Продолжение в части 2, где покажу результаты со стенда — 8 нейросетей, 165 запусков, реальные токены в секунду и анализ того, где упирается DDR3.