Fudan и Huawei Xiaoyi научили ИИ-агента писать операторы для Ascend NPU: 95,5% успеха

Команда Фуданьского университета совместно с Huawei Xiaoyi довела долю успешно сгенерированных операторов для NPU Ascend до 95,5%. Речь идёт о кодинг-агенте, который пишет низкоуровневый код под аппаратную платформу, плохо знакомую языковым моделям, сам компилирует его, запускает и переделывает до рабочего результата.

Где теряется скорость после развёртывания

Когда модель переносят на Ascend, вычислительная логика уже определена: слои, внимание, нормализации. Дальше начинается работа, которую пользователи обычно не видят. Нужно решить, как именно операторы лягут на железо. Один и тот же расчёт внимания можно реализовать множеством способов. Различаются разбиение данных на блоки, схема их перемещения между уровнями памяти, распределение работы между вычислительными блоками и точки синхронизации. Время выполнения при этом может отличаться заметно.

Такую настройку традиционно делают инженеры, которые хорошо знают архитектуру чипа. Их мало, а операторов в современной модели много. Поэтому оптимизация под конкретный NPU превращается в узкое место всего цикла развёртывания.

Агент на платформе, которой он не учился

Большие языковые модели умеют генерировать код. Кодинг-агенты идут дальше: вызывают инструменты, собирают проект, запускают тесты и по результатам вносят правки. Для распространённых платформ этот цикл работает хорошо, потому что в обучающих данных много примеров.

С Ascend сложнее. Основная масса открытого кода написана под другие стеки, и знаний о тонкостях программирования NPU у модели меньше. Исследователи ставили вопрос так: что делать агенту, если он должен компилировать, отлаживать и оптимизировать код на платформе с недостаточной базой знаний. Ответ команды Fudan и Huawei Xiaoyi: научить его опираться на обратную связь от самой платформы, то есть на результаты компиляции и запуска.

Итоговая метрика проекта — 95,5% успешной генерации операторов.

Что известно по проекту

• Участники: Фуданьский университет и команда Huawei Xiaoyi.
• Целевая платформа: NPU Ascend.
• Тип системы: кодинг-агент с вызовом инструментов, компиляцией, запуском и итеративной доработкой.
• Проблема: эффективное использование аппаратуры после того, как вычислительная логика модели уже зафиксирована.
• Что влияет на скорость: разбиение на блоки, перемещение данных, параллелизм и синхронизация.
• Главный результат: 95,5% успешной генерации операторов.

Почему это важно для экосистемы Ascend

У китайских ускорителей главная проблема давно не только в кремнии. Конкурентоспособность упирается в софтверный слой: библиотеки операторов, компиляторы, инструменты настройки. Если агент способен закрывать значительную часть ручной работы по написанию и отладке операторов, порог входа на Ascend снижается. Новые архитектуры и нестандартные блоки внимания можно будет поддерживать быстрее, не дожидаясь, пока найдётся специалист по железу.

Подход применим и шире. Любой производитель ускорителей сталкивается с тем, что модели плохо знают его стек. Схема, в которой агент учится на ответах компилятора и профилировщика, переносится на другие NPU и GPU.

На что смотреть команде, которая работает с Ascend

Практический вывод простой: строить автоматизацию вокруг цикла «сгенерировал, скомпилировал, запустил, исправил». Чем точнее сигналы обратной связи, тем лучше агент справляется с незнакомой платформой.

Остаются вопросы, от которых зависит реальная ценность метода. Нужно понять, как быстро работают сгенерированные операторы по сравнению с ручными реализациями. Нужно проверить, насколько подход устойчив на новых типах вычислений. Нужно выяснить, будет ли он доступен вне лабораторий Huawei и университета. Пока 95,5% показывают, что агентная генерация операторов для Ascend уже выходит за рамки демонстрации.