Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуX: @AIQuanting→ оригинал

Кодинг-агенты собрали LLM-движок для FPGA в AWS: 213 токенов/с и на 38% дешевле CPU

Кодинг-агенты написали движок для запуска языковой модели на FPGA — программируемом чипе из облака AWS — и разогнали его с 6,43 до 213,13 токена/с. Все 24 ответа совпали с эталоном на процессоре до бита. При почти равной цене часа ($1,98 против $1,95) миллион токенов выходит в $2,58 против $4,18 на CPU — на 38% дешевле. Но это расчёт для одной модели, не оценка для продакшена.

AI-обработка оригинала X: @AIQuanting; редакция Hamidun News
Кодинг-агенты собрали LLM-движок для FPGA в AWS: 213 токенов/с и на 38% дешевле CPU
Источник: X: @AIQuanting. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникX: @AIQuanting ↗
Главный редактор
Ключевой факт #1На контексте около 8000 токенов скорость падает до ~76 токенов/с
Код писали агентыв проекте около 3 млн строк
Ключевой факт #3Были сбои железа и зависания, независимого повтора пока нет

Представьте, что вам нужно запускать языковую модель дёшево и в больших объёмах. Обычно выбор простой: видеокарта или обычный процессор. В этом проекте взяли третий путь: FPGA — микросхему, которую можно перепрограммировать под одну конкретную задачу и арендовать в облаке AWS (инстансы F2). Движок для неё написали кодинг-агенты, а скорость выросла с 6,43 до 213,13 токена в секунду. Токен — это примерно слово или его часть, так что речь о скорости генерации текста. Самое интересное здесь не «33 раза», а то, что результат проверили на точность и пересчитали в деньги.

Что построили и что значит «до бита»

Запускали модель DeepGrove с тернарными весами. В такой сети каждый вес принимает только три значения: −1, 0 или +1. Арифметика получается очень простой, и под неё удобно собирать узкоспециализированное железо. По заголовку проекта, на реализацию и оптимизацию агенты написали около 3 миллионов строк кода.

Рост с 6,43 до 213,13 токена в секунду даёт те самые 33 раза. Это скачок скорости самого движка, а не обгон процессора в 33 раза: по отношению к CPU разница намного скромнее (об этом ниже).

Отдельно проверили точность. «Bit-exact» значит, что ответ совпадает с эталоном не «примерно», а до последнего бита. В финальном тесте было восемь диалогов по три реплики, и все 24 ответа совпали с зафиксированным эталоном на CPU. Для практики это важно: когда оптимизируешь под нестандартное железо, ответы легко начинают чуть расходиться, а в языковой модели даже небольшое расхождение быстро превращается в совсем другой текст.

Сравнение с процессором в деньгах

Час работы инстанса с FPGA стоит $1,98. Точная 32-поточная версия на CPU стоит $1,95, то есть почти столько же. Но процессор выдаёт 129,5 токена в секунду, а FPGA — 213,13, примерно в 1,65 раза больше.

Автор пересчитал цену и скорость на миллион сгенерированных токенов: около $2,58 на FPGA против $4,18 на CPU. Экономия — примерно 38%. Это не отдельный бенчмарк, а арифметика: часовая цена делится на число токенов, которые успевают сгенерировать за час.

На длинном контексте картина скромнее. Когда в контексте около 8000 токенов, скорость FPGA падает до примерно 76 токенов в секунду, а прогон занял 77,8 секунды. Если у вас длинные документы или большая история диалога, выигрыш может заметно сократиться. Данных о том, как в таком режиме ведёт себя CPU, в посте нет, поэтому делать вывод рано.

Ограничения и что с этим делать

Сам автор называет результат полезным для этой модели и этой реализации, но не расчётом полной стоимости владения. В цену не вошли время разработки, поддержка и риск переписывать код под другую модель. Во время настройки были аппаратные сбои и зависания. Независимого воспроизведения пока нет, поэтому цифры стоит считать заявленными, а не подтверждёнными.

Что можно взять на практике:

  • Если вы запускаете небольшие квантованные модели в больших объёмах, арендуемые FPGA перестают быть экзотикой. Но 38% экономии нужно проверять на своей нагрузке и со своей длиной контекста.
  • Сверка с замороженным эталоном полезна на любом железе. Если агент оптимизирует инференс, пусть каждый шаг проверяется на побитовое совпадение, а не на «похоже на правду».
  • Считайте деньги за миллион токенов, а не за час аренды. Почти одинаковая цена часа ($1,98 и $1,95) скрывает разницу в скорости, которая и даёт итоговую экономию.

Агенты, судя по этому проекту, уже могут браться за задачи, где раньше нужна была команда инженеров по аппаратному ускорению. Но миллионы строк кода и зависания железа напоминают: проверка результата остаётся за человеком. Дальше стоит следить за двумя вещами: появится ли независимое воспроизведение и повторится ли результат на других моделях.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что построили и что значит «до бита»?

Запускали модель DeepGrove с тернарными весами. В такой сети каждый вес принимает только три значения: −1, 0 или +1. Арифметика получается очень простой, и под неё удобно собирать узкоспециализированное железо. По заголовку проекта, на реализацию и оптимизацию агенты написали около 3 миллионов строк кода. Рост с 6,43 до 213,13 токена в секунду даёт те самые 33 раза. Это скачок скорости самого движка, а не обгон процессора в 33 раза: по отношению к CPU разница намного скромнее (об этом ниже).

Что известно по теме: сравнение с процессором в деньгах?

Час работы инстанса с FPGA стоит $1,98. Точная 32-поточная версия на CPU стоит $1,95, то есть почти столько же. Но процессор выдаёт 129,5 токена в секунду, а FPGA — 213,13, примерно в 1,65 раза больше. Автор пересчитал цену и скорость на миллион сгенерированных токенов: около $2,58 на FPGA против $4,18 на CPU. Экономия — примерно 38%. Это не отдельный бенчмарк, а арифметика: часовая цена делится на число токенов, которые успевают сгенерировать за час. На длинном контексте картина скромнее.

Что известно по теме: ограничения и что с этим делать?

Сам автор называет результат полезным для этой модели и этой реализации, но не расчётом полной стоимости владения. В цену не вошли время разработки, поддержка и риск переписывать код под другую модель. Во время настройки были аппаратные сбои и зависания. Независимого воспроизведения пока нет, поэтому цифры стоит считать заявленными, а не подтверждёнными. Что можно взять на практике: Если вы запускаете небольшие квантованные модели в больших объёмах, арендуемые FPGA перестают быть экзотикой.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Практика · Hamidun Academy

Соберите рабочего ИИ-агента или сервис своими руками без ручного кода

В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.

Открыть 72ч бесплатный доступ →Интенсив по Вайб-кодингу
Что вы думаете?
Загружаем комментарии…