Anthropic запустила Message Threads: старт ответа быстрее на 35% в длинных сессиях

Любой, кто строил агента на длинном контексте, знает эту боль: сессия растёт, и каждый новый шаг начинается с паузы. Модель ещё ничего не сказала, а вы уже отправили по сети сотни тысяч токенов истории. Anthropic выпустила Message Threads, чтобы убрать именно эту паузу.

Что изменилось

Раньше схема была простой и неудобной. На каждом шаге клиент собирал весь диалог: системный промпт, результаты инструментов, прошлые реплики, и отправлял целиком. Чем больше история, тем дольше задержка до первого токена.

Теперь в запросе к API есть параметр thread. Полный массив данных передаётся один раз. Дальше клиент шлёт только новые сообщения и идентификатор предыдущего ответа. Между запросами Anthropic держит контекст в оперативной памяти в зашифрованном виде. Поток живёт пять минут после последнего обращения, потом историю нужно отправить заново.

По данным компании, для агентов и сессий от 500 тысяч до миллиона токенов ожидание начала ответа сокращается в среднем на 35%. Публичная бета доступна на платформе Claude, в AWS, Microsoft Foundry и Google Cloud.

Как это выглядит на практике

Представьте кодового агента, который разбирает большой репозиторий. Он прочитал 40 файлов, запустил тесты, получил логи, и теперь контекст занимает 600 тысяч токенов. Раньше каждый следующий вызов инструмента означал повторную отправку всех 600 тысяч. Теперь агент шлёт короткое сообщение вроде «вот результат последнего теста» плюс идентификатор предыдущего ответа. Сеть и подготовка запроса разгружены, а пользователь видит ответ раньше.

Важная оговорка: на счёт это не влияет. Модель по-прежнему обрабатывает весь объём, поэтому токены считаются как раньше. Это оптимизация задержки, а не способ сэкономить бюджет. Если ваша боль в стоимости, смотрите в сторону кеширования промптов и сжатия контекста, а не Threads.

Ограничения и что делать

Главный подвох — пятиминутное окно. Для интерактивного агента, который работает непрерывно, этого хватает. Для чата, где пользователь ушёл на обед, поток протухнет, и первый запрос после паузы снова будет тяжёлым. Значит, клиентский код должен уметь пересобрать полную историю: храните её у себя, а thread используйте как ускоритель, а не как источник правды.

Ещё один момент: функция в бете. Не стоит делать её единственным путём, пока вы не проверили поведение при обрыве потока и ошибках. Разумный план: включить thread на одном агентном сценарии, замерить время до первого токена на реальных сессиях и сравнить с обещанными 35%. Цифра средняя, на коротких диалогах выигрыш будет скромнее.

Что ещё рядом

В тот же день вышли новости, которые стоит держать в голове. По данным FT, Nvidia неофициально требует от операторов дата-центров, чтобы клиенты из Китая занимали не более 49% арендуемых мощностей по новым контрактам. Если вы арендуете GPU у небольших облаков, ждите вопросов о составе клиентов и возможных сдвигов в доступности.

OpenAI подняла базовую выплату за критические уязвимости в ChatGPT и Codex до 30 тысяч долларов, а максимум с бонусами доходит до 172 тысяч. Для команд, которые строят продукты поверх этих сервисов, это сигнал: поверхность атаки проверяют всерьёз, и вам тоже стоит.