Разработчица урезала контекст ИИ-агента на 97–98%: вместо 4 МБ в модель уходит 100 КБ
Если отдать ИИ-агенту проект на 500 файлов целиком, промпт раздувается до 4 МБ: модель выдумывает методы и упирается в лимит контекста. Разработчица на Habr написала на PHP и SQL фильтр, который по словам задачи заранее выбирает 10–20 файлов, ранжируя их по частоте слов (TF-IDF). В модель уходит около 100 КБ вместо 4 МБ — на 97–98% меньше, поиск на готовом индексе занимает 1,5–10 мс. Для кода точные имена надёжнее эмбеддингов.
AI-обработка оригинала Habr AI; редакция Hamidun News
Если отдать ИИ-агенту проект на 500 файлов целиком, промпт разрастается до нескольких мегабайт. Модель начинает придумывать несуществующие классы и методы, отвечает медленно, а иногда упирается в лимит контекстного окна, и бюджет на API уходит впустую. Автор разбора на Habr, разработчица, решила эту проблему без векторных баз и платных embedding-сервисов. Она построила небольшой модуль на PHP и SerenaDB, который по тексту задачи заранее выбирает 10–20 нужных файлов. В итоге контекст сократился примерно с 4 МБ до 100 КБ, то есть на 97–98%.
Как работает отбор файлов
Модуль принимает корень проекта и текст задачи, а возвращает список путей, которые не стыдно показать модели. Генерации кода и поиска «по смыслу» в нём нет, только отбор. Всё работает на обычном процессоре.
Сначала код режется на слова. Имена вроде ItemService и signing_date разбиваются на части: item, service, signing, date. Делать это нужно до перевода в нижний регистр, иначе границы слов в camelCase пропадут. Служебные слова языка (public, return, null) выбрасываются. Русские слова из задачи проходят через лёгкий стеммер: он отрезает окончания и оставляет основу не короче четырёх символов.
Дальше в таблицу записывается связка «слово → файл → сколько раз встретилось». Размер и время изменения файла тоже сохраняются, поэтому при повторном запуске переиндексируются только новые и изменённые файлы. Первые 30 КБ содержимого остаются для будущих сниппетов.
Ранжирование идёт в два слоя. Первый считает SQL по схеме TF-IDF. Проще говоря, слово, которое встречается в трёх файлах из пятисот, весит много, а слово, которое есть почти везде, почти ничего не значит. Толстые файлы приглушаются делением на логарифм размера, чтобы они не выигрывали просто за счёт объёма. Второй слой считает PHP. Он добавляет бонус, если слово из задачи есть в пути файла, и множитель по типу файла: .php весит 1,0, тесты 0,6, документация .md 0,3. Если SerenaDB не принимает функции LN и GREATEST, включается запасной режим с простой суммой частот. В логах всегда указано, какой режим сработал.
Почему не векторы и не BM25
В коде нужны конкретные методы, классы и переменные, а не близость по смыслу, поэтому точные совпадения идентификаторов работают предсказуемее. К тому же SerenaDB не поддерживает pgvector и нормальный полнотекстовый поиск. Есть и ещё одно преимущество: результат объясним. Для каждого файла видно, какие слова и с какой частотой привели его в топ.
BM25, популярный стандарт ранжирования, автор тоже рассматривала и отказалась. Главная причина не в формуле, а в самой задаче. BM25 улучшает порядок среди файлов, где слова запроса уже есть. А нужный файл часто их вообще не содержит. Например, просят «исправить ключи DTO в договорах», а в ItemDto.php нет ни «ключей», ни «исправить»: их туда только предстоит добавить. Никакое ранжирование по совпадениям такой файл не поднимет. Эту работу делают ролевые термины (слово «договор» добавляет к запросу связанные с ним имена) и бонус за путь, и именно они дали основной прирост. Кроме того, у автора нет размеченной выборки для настройки параметров BM25, а частоты слов в исходниках обычно 3–20, так что насыщение частоты там почти не работает.
Цифры и ограничения
На бэкенде из ~500 файлов контекст для модели сократился с ≈4 МБ до 84–111 КБ при цели не больше 150 КБ. Поиск на тёплом индексе занимает 1,5–10 мс, первая индексация — 8–30 секунд (медиана 28). Вызовов embedding-API нет. На фронтенде из ~1200 файлов через Docker bind-mount первый проход занимает до 80 секунд. Время ответа самой LLM автор не считает: оно зависит от внешнего API сильнее, чем от этого кода.
Ограничения тоже есть. Проверка маленькая: попадание целевого файла в топ-7 подтверждено на одном кейсе, а не на размеченном наборе из 10–20 задач. Правила ролей и синонимов написаны под конкретный домен, и в другом проекте придётся делать свои. Бонус за путь работает, только если файлы названы осмысленно.
Практический вывод простой. Прежде чем подключать векторную базу к агенту для кода, проверьте дешёвый вариант: токенизацию с разбивкой camelCase, TF-IDF в обычной SQL-базе и словарь синонимов вашей предметной области. Он бесплатен, объясняет каждое решение и экономит токены на каждом запросе. Эмбеддинги стоит оставить для задач, где действительно нужен поиск по смыслу.
- 4 мар. 2026 г.AI-агент для проверки техзаданий: зачем автоматизировать то, что не работает вручную
- 11 окт. 2026 г.Разработчица потратила $9 000 на ИИ-агентов и выпустила плагин Crossweft
- 13 окт. 2026 г.«Яндекс» потерял три дата-центра: восстановление займёт до полугода
- 22 апр. 2026 г.Allbirds переименовывается в NewBird AI и уходит в GPU-аренду вместо кроссовок
Вопросы и ответы по материалу
Что известно по теме: как работает отбор файлов?
Модуль принимает корень проекта и текст задачи, а возвращает список путей, которые не стыдно показать модели. Генерации кода и поиска «по смыслу» в нём нет, только отбор. Всё работает на обычном процессоре. Сначала код режется на слова. Имена вроде ItemService и signing_date разбиваются на части: item, service, signing, date. Делать это нужно до перевода в нижний регистр, иначе границы слов в camelCase пропадут. Служебные слова языка (public, return, null) выбрасываются.
Что известно по теме: почему не векторы и не BM25?
В коде нужны конкретные методы, классы и переменные, а не близость по смыслу, поэтому точные совпадения идентификаторов работают предсказуемее. К тому же SerenaDB не поддерживает pgvector и нормальный полнотекстовый поиск. Есть и ещё одно преимущество: результат объясним. Для каждого файла видно, какие слова и с какой частотой привели его в топ. BM25, популярный стандарт ранжирования, автор тоже рассматривала и отказалась. Главная причина не в формуле, а в самой задаче.
Что известно по теме: цифры и ограничения?
На бэкенде из ~500 файлов контекст для модели сократился с ≈4 МБ до 84–111 КБ при цели не больше 150 КБ. Поиск на тёплом индексе занимает 1,5–10 мс, первая индексация — 8–30 секунд (медиана 28). Вызовов embedding-API нет. На фронтенде из ~1200 файлов через Docker bind-mount первый проход занимает до 80 секунд. Время ответа самой LLM автор не считает: оно зависит от внешнего API сильнее, чем от этого кода. Ограничения тоже есть.
От чтения про ИИ-агентов — к запуску своего агента за вечер
Пошаговая сборка автономных агентов и MCP-связок в Hamidun Academy (academy.hamidun.com) (72 часа бесплатно) или мгновенный запуск готовых мультишаговых агентов в облаке Nomad.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.