Apple и CMU ускорили ИИ-агентов в 10 раз, заменив рассуждение выбором

Исследователи из Apple и Carnegie Mellon University предложили способ ускорить LLM-агентов примерно в 10 раз. Вместо того чтобы писать развёрнутое рассуждение перед каждым действием, модель выбирает следующий шаг из набора вариантов, как в тесте с вариантами ответа. Об этом сообщает китайское издание Jiqizhixin. Цифра «10 раз» взята из заголовка публикации: в доступном фрагменте текста нет ни названия метода, ни таблиц с бенчмарками, поэтому проверить её пока нельзя.

Где агент теряет время

Типичный агент работает по схеме ReAct: наблюдение, мысль, действие. Перед каждым ходом модель генерирует свободный текст. Она разбирает текущую ситуацию, взвешивает собранные свидетельства и только потом решает, что делать дальше. Это ядро парадигмы, и именно оно даёт агентам гибкость. Но у этой гибкости есть цена.

Токены генерируются последовательно, один за другим. Если рассуждение занимает сотни токенов, а само действие укладывается в десяток, основное время и деньги уходят на «думание». На задаче из двадцати-тридцати шагов эти потери накапливаются, а задержка ответа растёт почти линейно с числом шагов.

Что предлагают Apple и CMU

Идея из заголовка: превратить генерацию в задачу выбора. Модель не сочиняет рассуждение с нуля, а получает варианты и указывает подходящий. Выход сжимается с сотен токенов до нескольких. Это объясняет, откуда может взяться порядок ускорения. Но это моя интерпретация механики: в доступном тексте детали не раскрыты.

Из опубликованного фрагмента известно следующее:

• авторы: исследователи Apple и Carnegie Mellon University;
• проблема: свободное рассуждение перед каждым действием в ReAct создаёт ощутимые накладные расходы на инференс;
• решение: замена свободной генерации «думания» форматом выбора из вариантов;
• заявленный результат: ускорение инференса агента примерно в 10 раз;
• не раскрыто: название метода, набор задач, модели, влияние на долю успешно решённых задач.

Последний пункт самый важный. Любое сжатие рассуждения рискует ударить по качеству, особенно на длинных задачах, где ранняя ошибка тянет за собой всю цепочку.

Что проверять в первую очередь

Прочитав полную статью, стоит найти ответы на несколько вопросов. Откуда берутся варианты? Если кандидатов тоже генерирует большая модель, часть экономии просто переедет в другой этап. Как метод ведёт себя в открытых средах, где пространство действий не сводится к короткому списку? Против каких базовых линий сравнивали: против полного ReAct, против короткого chain-of-thought или против других ускорителей вроде спекулятивного декодирования и кэширования?

Командам, которые строят агентов, полезно уже сейчас посчитать, какую долю выходных токенов в их трассах занимает рассуждение. Если больше половины, формат выбора или любое другое сжатие «мысли» может дать заметный выигрыш по задержке и стоимости вызова. Если рассуждения в трассах мало, ожидать десятикратного эффекта не стоит.

Для Apple тема понятна: дешёвые шаги агента важны там, где вычислений мало. Это моё предположение, подтверждений в тексте нет. Пока же перед нами заявка на сильный результат без видимых доказательств. Решать, насколько она серьёзна, можно будет после чтения самой работы: прежде всего её таблиц с точностью на агентных бенчмарках.