DiffResearch: диффузионная LLM ускорила deep research в 6 раз

Исследователи представили DiffResearch — открытый мультиагентный фреймворк для deep research, где диффузионная языковая модель (dLLM) стоит в основе каждого этапа: от планирования до финального отчёта. На 100 задачах Deep Research Bench такая система работает примерно в 6 раз быстрее, чем та же конструкция на сопоставимой авторегрессионной модели. Код выложен под лицензией Apache-2.0.

Главная боль deep research в интерактиве — задержка. Система планирует, ищет источники, сводит факты, переписывает черновик, и на каждом шаге модель генерирует текст слева направо, токен за токеном. Почти все продакшен-решения устроены именно так. Авторы DiffResearch проверили, что будет, если убрать это ограничение у самого ядра.

Замена мотора при неизменном шасси

Эксперимент построен аккуратно. Агентный каркас, код ретривала, промпты и методика оценки остались фиксированными. Менялась только модель-основа: открытая диффузионная против сопоставимой авторегрессионной. Так можно приписать разницу в скорости и качестве именно архитектуре декодирования, а не особенностям пайплайна.

Итог — ускорение end-to-end примерно в 6 раз. Основной вклад дали два этапа, где модель генерирует больше всего текста: планирование и написание отчёта. Там время сократилось на порядок. Диффузионная модель не выдаёт токены по одному, а уточняет сразу весь фрагмент за несколько шагов деноизинга, и на длинных выходах это даёт заметный выигрыш.

dFast: подзапросы из недоделанного текста

Вторая идея авторов интереснее. Диффузионная модель на каждом шаге держит промежуточное, ещё зашумлённое состояние всего ответа. Режим dFast читает эти состояния и вытаскивает подзапросы для поиска, не дожидаясь, пока генерация закончится. Поиск стартует раньше, чем модель дописала план.

На декомпозиции в изоляции медианное ускорение составило 1,99×, и качество отчётов при этом не упало. На рубрике RACE бенчмарка dFast получил лучший общий балл среди трёх конфигураций: авторегрессионной, обычной диффузионной и самой dFast. Здесь важно, что скорость не куплена ценой качества.

Отдельно авторы приводят срез публичного системного лидерборда. Экземпляр DiffResearch на более сильной диффузионной модели оказался выше нескольких коммерческих систем. Это снимок на момент замера, но для открытого проекта на dLLM результат весомый.

Ключевые параметры работы:

• Бенчмарк: 100 задач Deep Research Bench, оценка по рубрике RACE.
• Ускорение end-to-end: примерно 6× относительно авторегрессионной модели.
• Планирование и написание: сокращение времени на порядок.
• dFast: медианное ускорение декомпозиции 1,99× без потери качества.
• Лицензия: Apache-2.0.

Кому и что пробовать в продакшене

Командам, которые строят research-агентов, стоит посмотреть на задержку по этапам. Если основное время уходит на длинные плановые и письменные шаги, замена основы даёт максимальный эффект. Архитектура каркаса при этом может остаться прежней, что и показал эксперимент с фиксированным скаффолдом.

Второй практический вывод касается пайплайнов с ранним запуском поиска. Идея dFast применима там, где промежуточные состояния модели доступны наружу: подзапросы можно отправлять в ретривал по мере проявления в черновике. Для авторегрессионных моделей такой трюк в чистом виде невозможен, потому что у них нет «целой» картины до конца генерации.

Ограничения тоже есть. Сравнение сделано на одном бенчмарке и одной паре моделей, а сильные диффузионные модели пока встречаются реже авторегрессионных. Но открытая лицензия позволяет проверить результат на собственных данных и собственном ретривале. Если цифры подтвердятся, диффузионные LLM получат убедительный сценарий применения именно там, где задержка раздражает пользователя сильнее всего.