Anthropic ускорила ответ Claude в длинных диалогах на 35%

Длинный разговор с моделью устроен не слишком изящно: перед каждым новым ответом приложение снова отправляет всю переписку. Пока в истории несколько сообщений, это почти незаметно. Но когда агент часами разбирает репозиторий, управляет компьютером или читает сотни документов, повторная передача контекста превращается в отдельный источник задержки.

Anthropic предложила для таких сценариев Message Threads. Функция вышла в публичную бету на платформе Claude и, по данным компании, сокращает время до появления первого токена примерно на 35% для запросов с контекстом от 500 тысяч до одного миллиона токенов.

Что меняется в запросе

Представим агента, который уже загрузил большой проект: исходный код, документацию, результаты тестов и историю своих действий. Затем разработчик пишет короткое сообщение: «Исправь найденную ошибку и запусти тесты ещё раз».

При обычной схеме клиент заново передаёт Claude весь накопленный разговор вместе с этим сообщением. Message Threads позволяет отправить только то, что изменилось после предыдущего обращения. Сама модель всё равно получает полную историю, но транспортному слою не приходится повторно гонять через сеть сотни тысяч токенов.

Именно поэтому Anthropic говорит об ускорении времени до первого токена, а не о сокращении объёма контекста. Пользователь раньше видит начало ответа, однако модель по-прежнему читает весь диалог и учитывает его при генерации.

Где это даст заметный эффект

Главные кандидаты — долгоживущие агенты. Кодовый агент постепенно накапливает файлы, сообщения компилятора и результаты тестов. Агент для работы с интерфейсом хранит последовательность снимков экрана и выполненных действий. Система анализа документов может держать в контексте отчёты, таблицы и изображения. Во всех этих случаях новая команда мала по сравнению с уже собранной историей.

Для обычного чат-бота с десятком коротких реплик разница, вероятно, будет скромнее. Заявленные 35% относятся к очень большим запросам — от 500 тысяч токенов. Переносить эту цифру на любой диалог нельзя: реальный выигрыш зависит от размера истории, сети, региона, модели и остальной инфраструктуры приложения.

Есть и важное ограничение. Message Threads не уменьшает расход токенов: Claude всё равно обрабатывает полный контекст. Значит, функция улучшает задержку передачи данных, но не решает проблему стоимости длинных разговоров. Если задача требует экономии, разработчикам всё ещё придётся сокращать историю, делать резюме, выносить данные во внешнее хранилище или точнее выбирать контекст для каждого шага.

Что проверить перед внедрением

Поток хранится между запросами в зашифрованной оперативной памяти и удаляется после пяти минут бездействия. Для интерактивного агента этого может быть достаточно, но фоновый процесс с длинными паузами должен уметь восстановить состояние или повторно передать историю. На идентификатор потока не стоит смотреть как на постоянное хранилище сессии.

Функция работает на платформе Claude, а также через AWS, Microsoft Foundry и Google Cloud. Пока она находится в публичной бете, разумно включать её постепенно: измерить время до первого токена на собственных трассировках, проверить поведение после истечения пяти минут и предусмотреть возврат к обычным запросам.

Практический вывод простой: если ваш агент постоянно пересылает сотни тысяч токенов почти неизменного контекста, Message Threads стоит протестировать. Она не сделает модель дешевле и не улучшит качество рассуждений, зато может убрать заметную часть ожидания там, где история уже стала тяжелее нового сообщения.