Кодинг-агенты собрали LLM-движок для FPGA в AWS: 213 токенов/с и на 38% дешевле CPU
Кодинг-агенты написали движок для запуска языковой модели на FPGA — программируемом чипе из облака AWS — и разогнали его с 6,43 до 213,13 токена/с. Все 24 ответа совпали с эталоном на процессоре до бита. При почти равной цене часа ($1,98 против $1,95) миллион токенов выходит в $2,58 против $4,18 на CPU — на 38% дешевле. Но это расчёт для одной модели, не оценка для продакшена.
AI-обработка оригинала X: @AIQuanting; редакция Hamidun News
Представьте, что вам нужно запускать языковую модель дёшево и в больших объёмах. Обычно выбор простой: видеокарта или обычный процессор. В этом проекте взяли третий путь: FPGA — микросхему, которую можно перепрограммировать под одну конкретную задачу и арендовать в облаке AWS (инстансы F2). Движок для неё написали кодинг-агенты, а скорость выросла с 6,43 до 213,13 токена в секунду. Токен — это примерно слово или его часть, так что речь о скорости генерации текста. Самое интересное здесь не «33 раза», а то, что результат проверили на точность и пересчитали в деньги.
Что построили и что значит «до бита»
Запускали модель DeepGrove с тернарными весами. В такой сети каждый вес принимает только три значения: −1, 0 или +1. Арифметика получается очень простой, и под неё удобно собирать узкоспециализированное железо. По заголовку проекта, на реализацию и оптимизацию агенты написали около 3 миллионов строк кода.
Рост с 6,43 до 213,13 токена в секунду даёт те самые 33 раза. Это скачок скорости самого движка, а не обгон процессора в 33 раза: по отношению к CPU разница намного скромнее (об этом ниже).
Отдельно проверили точность. «Bit-exact» значит, что ответ совпадает с эталоном не «примерно», а до последнего бита. В финальном тесте было восемь диалогов по три реплики, и все 24 ответа совпали с зафиксированным эталоном на CPU. Для практики это важно: когда оптимизируешь под нестандартное железо, ответы легко начинают чуть расходиться, а в языковой модели даже небольшое расхождение быстро превращается в совсем другой текст.
Сравнение с процессором в деньгах
Час работы инстанса с FPGA стоит $1,98. Точная 32-поточная версия на CPU стоит $1,95, то есть почти столько же. Но процессор выдаёт 129,5 токена в секунду, а FPGA — 213,13, примерно в 1,65 раза больше.
Автор пересчитал цену и скорость на миллион сгенерированных токенов: около $2,58 на FPGA против $4,18 на CPU. Экономия — примерно 38%. Это не отдельный бенчмарк, а арифметика: часовая цена делится на число токенов, которые успевают сгенерировать за час.
На длинном контексте картина скромнее. Когда в контексте около 8000 токенов, скорость FPGA падает до примерно 76 токенов в секунду, а прогон занял 77,8 секунды. Если у вас длинные документы или большая история диалога, выигрыш может заметно сократиться. Данных о том, как в таком режиме ведёт себя CPU, в посте нет, поэтому делать вывод рано.
Ограничения и что с этим делать
Сам автор называет результат полезным для этой модели и этой реализации, но не расчётом полной стоимости владения. В цену не вошли время разработки, поддержка и риск переписывать код под другую модель. Во время настройки были аппаратные сбои и зависания. Независимого воспроизведения пока нет, поэтому цифры стоит считать заявленными, а не подтверждёнными.
Что можно взять на практике:
- Если вы запускаете небольшие квантованные модели в больших объёмах, арендуемые FPGA перестают быть экзотикой. Но 38% экономии нужно проверять на своей нагрузке и со своей длиной контекста.
- Сверка с замороженным эталоном полезна на любом железе. Если агент оптимизирует инференс, пусть каждый шаг проверяется на побитовое совпадение, а не на «похоже на правду».
- Считайте деньги за миллион токенов, а не за час аренды. Почти одинаковая цена часа ($1,98 и $1,95) скрывает разницу в скорости, которая и даёт итоговую экономию.
Агенты, судя по этому проекту, уже могут браться за задачи, где раньше нужна была команда инженеров по аппаратному ускорению. Но миллионы строк кода и зависания железа напоминают: проверка результата остаётся за человеком. Дальше стоит следить за двумя вещами: появится ли независимое воспроизведение и повторится ли результат на других моделях.
- 21 нояб. 2026 г.Anthropic закрыла первую неделю на бирже с оценкой $1,6 трлн, но за день упала на 8,5%
- 21 нояб. 2026 г.AG-UI 1.0 даёт ИИ-агентам единый язык для связи с приложением: 31 тип событий
- 21 нояб. 2026 г.OpenAI запустила ChatGPT Wallet: агенты покупают, не видя номер карты
- 21 нояб. 2026 г.США вложили в рекламу ChatGPT $70,7 млн за октябрь — на 127% больше, чем в апреле
Вопросы и ответы по материалу
Что известно по теме: что построили и что значит «до бита»?
Запускали модель DeepGrove с тернарными весами. В такой сети каждый вес принимает только три значения: −1, 0 или +1. Арифметика получается очень простой, и под неё удобно собирать узкоспециализированное железо. По заголовку проекта, на реализацию и оптимизацию агенты написали около 3 миллионов строк кода. Рост с 6,43 до 213,13 токена в секунду даёт те самые 33 раза. Это скачок скорости самого движка, а не обгон процессора в 33 раза: по отношению к CPU разница намного скромнее (об этом ниже).
Что известно по теме: сравнение с процессором в деньгах?
Час работы инстанса с FPGA стоит $1,98. Точная 32-поточная версия на CPU стоит $1,95, то есть почти столько же. Но процессор выдаёт 129,5 токена в секунду, а FPGA — 213,13, примерно в 1,65 раза больше. Автор пересчитал цену и скорость на миллион сгенерированных токенов: около $2,58 на FPGA против $4,18 на CPU. Экономия — примерно 38%. Это не отдельный бенчмарк, а арифметика: часовая цена делится на число токенов, которые успевают сгенерировать за час. На длинном контексте картина скромнее.
Что известно по теме: ограничения и что с этим делать?
Сам автор называет результат полезным для этой модели и этой реализации, но не расчётом полной стоимости владения. В цену не вошли время разработки, поддержка и риск переписывать код под другую модель. Во время настройки были аппаратные сбои и зависания. Независимого воспроизведения пока нет, поэтому цифры стоит считать заявленными, а не подтверждёнными. Что можно взять на практике: Если вы запускаете небольшие квантованные модели в больших объёмах, арендуемые FPGA перестают быть экзотикой.
Соберите рабочего ИИ-агента или сервис своими руками без ручного кода
В Академии Жемала Хамидуна (academy.hamidun.com) открыт бесплатный 72-часовой тест-драйв: интерактивные скетч-уроки по Claude Code и Cursor, живой Tech Radar и готовые шаблоны агентов.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.