Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
РелизРазбор · На радарThe Decoder→ оригинал

Anthropic: Claude с 413 файлами заметок взял 1 значок в Pokémon, а с несколькими — 4

Агент, который ведёт проект несколько дней, должен помнить прошлое, но заметки на каждый шаг быстро устаревают и мешают. В Pokémon Red старая Claude Sonnet 3.7 за 10 000 шагов создала 413 файлов в 225 папках и взяла один значок, а Claude Fable 5 вела несколько файлов со стратегиями и проверенными правилами — и взяла четыре. Это как хранить заметку на каждый коммит вместо короткого README. Вывод: в памяти агента важнее отбор, чем объём.

AI-обработка оригинала The Decoder; редакция Hamidun News
Anthropic: Claude с 413 файлами заметок взял 1 значок в Pokémon, а с несколькими — 4
Источник: The Decoder. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникThe Decoder ↗
Главный редактор
Ключевой факт #1Dreaming сверяет заметки со старыми сессиями и чинит ошибки
Юридический тествики с поиском — 87% верных ответов против 73% у поиска
Ключевой факт #3Тест один на модель, все данные получены самой Anthropic

Агент, который работает над проектом несколько дней, каждый раз начинает сессию с чистого листа, поэтому ему дают папку для заметок: он пишет туда сам и читает позже. Проблема в том, что заметки быстро устаревают. Представьте, что в репозитории на каждый коммит заведена отдельная записка, и половина из них давно неверна, а новичок вынужден всё это читать. Именно так повёл себя Claude в тесте Anthropic: в игре Pokémon Red версия, записывавшая всё подряд, создала 413 файлов в 225 папках и получила один значок, а версия с несколькими файлами — четыре. Вывод исследования: качество памяти агента определяется не объёмом, а умением решать, что не сохранять.

Агент, который записывает всё, теряется

Главная сложность — выбор. В момент записи агент не знает, что понадобится потом, поэтому каждая заметка — ставка на будущее. Старая Claude Sonnet 3.7 считала важным всё: за примерно 10 000 игровых шагов она создала 413 файлов в 225 папках, часто заводя отдельный файл на каждую битву и каждый найденный предмет. Состояние игры постоянно меняется, и такой архив быстро становится неактуальным. Временами модель вообще не играла, а только наводила порядок в своих записях. Итог — один значок.

Более новая Claude Fable 5 обошлась несколькими файлами. Она не записывала то, что и так видно на экране, и фиксировала только планы, стратегии и правила, которые сама проверила. Результат — четыре значка. Важная оговорка: сравнение построено на одном прохождении на каждую модель, так что это скорее иллюстрация, чем статистика.

Практический совет Anthropic: объяснить модели, зачем нужна память, и позволить ей самой решать, как ею пользоваться. В одном из бенчмарков жёсткие инструкции вроде «записывай только ошибки» съедали большую часть преимущества сильных моделей. Зато старым моделям чёткие правила помогали, например требование читать заметки перед каждым ответом. Значит, промпт для памяти стоит подбирать под класс модели.

Dreaming: проверка заметок «во сне»

Вторая беда — неверные заметки, которым агент потом слепо верит. В тесте с Pokémon Claude неправильно записал, с какой стороны горы находится ориентир. Опираясь на эту запись, он трижды попадал в одну и ту же ловушку, в конце концов захотел сдаться и не дошёл до цели. Похожая история была с неверной заметкой о расположении Pokémon Center: из-за неё Claude раз за разом падал с уступа.

Для таких случаев Anthropic предлагает процесс Dreaming, развивающий идеи исследователей из Letta и UC Berkeley. Как мозг перерабатывает опыт во сне, Claude в паузе между сессиями просматривает старые транскрипты и сверяет с ними свои заметки. После такого прохода агент нашёл ошибку, выбрал верный путь и прошёл Mt. Moon до Cerulean City. Только с исправленной заметкой это получилось.

Dreaming умеет и больше: упорядочивать крупные базы знаний. Claude построил связанную вики примерно из 350 000 внутренних документов Stainless — софтверной компании, которую купила Anthropic. Система создаёт новые страницы, закрывает пробелы, убирает дубли и чинит битые ссылки. Лучше всего работала связка вики с поиском: вики дополняет поиск, но не заменяет его. В отдельном юридическом тесте вики особенно помогала там, где ответ разбросан по нескольким документам: 87% верных ответов против 73% у одного поиска. На простых запросах вики и поиск были примерно равны, а в одном случае вики даже стала больше исходных документов.

Что остаётся нерешённым и что делать

Anthropic сама признаёт ограничения. Заметки по ходу задачи отвлекают агента от работы. Dreaming требует дополнительных вычислений, а результат приходит с задержкой. Вики и заметки нужно регулярно обслуживать, иначе копятся ошибки и галлюцинации. Не стоит и автоматически грузить в каждую сессию слишком много воспоминаний: они съедают контекст и передают плохую заметку всем будущим сессиям. Все тесты проведены самой Anthropic.

Dreaming компания представила в мае как research preview для Claude Managed Agents. Сервис читает существующее хранилище памяти и до 100 прошлых сессий, убирает дубли и устаревшие записи и создаёт новое хранилище, не трогая оригинал. На старте поддерживались только Claude Opus 4.7 и Sonnet 4.6. Похожим путём идут и другие: OpenAI тоже называет Dreaming обновлённую в июне память ChatGPT, которая в фоне ведёт профиль пользователя и исправляет устаревшее; по данным компании, точность с учётом времени выросла с 52,2% до 75,1%. У Google есть WikiSkill — вики для агентов с отдельными слоями для сырых транскриптов, выжимки знаний и конкретных инструкций.

Если вы строите агента с долгой памятью, не заставляйте его вести дневник каждого шага. Храните стратегии и проверенные правила, а то, что видно в текущем контексте, не записывайте. Добавьте регулярную сверку заметок с логами сессий и сохраняйте оригинал, чтобы можно было откатиться. Для больших баз знаний сочетайте вики с поиском.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: агент, который записывает всё, теряется?

Главная сложность — выбор. В момент записи агент не знает, что понадобится потом, поэтому каждая заметка — ставка на будущее. Старая Claude Sonnet 3.7 считала важным всё: за примерно 10 000 игровых шагов она создала 413 файлов в 225 папках, часто заводя отдельный файл на каждую битву и каждый найденный предмет. Состояние игры постоянно меняется, и такой архив быстро становится неактуальным. Временами модель вообще не играла, а только наводила порядок в своих записях. Итог — один значок.

Что известно по теме: Dreaming: проверка заметок «во сне»?

Вторая беда — неверные заметки, которым агент потом слепо верит. В тесте с Pokémon Claude неправильно записал, с какой стороны горы находится ориентир. Опираясь на эту запись, он трижды попадал в одну и ту же ловушку, в конце концов захотел сдаться и не дошёл до цели. Похожая история была с неверной заметкой о расположении Pokémon Center: из-за неё Claude раз за разом падал с уступа. Для таких случаев Anthropic предлагает процесс Dreaming, развивающий идеи исследователей из Letta и UC Berkeley.

Что известно по теме: что остаётся нерешённым и что делать?

Anthropic сама признаёт ограничения. Заметки по ходу задачи отвлекают агента от работы. Dreaming требует дополнительных вычислений, а результат приходит с задержкой. Вики и заметки нужно регулярно обслуживать, иначе копятся ошибки и галлюцинации. Не стоит и автоматически грузить в каждую сессию слишком много воспоминаний: они съедают контекст и передают плохую заметку всем будущим сессиям. Все тесты проведены самой Anthropic. Dreaming компания представила в мае как research preview для Claude Managed Agents.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…