Box встроил Nvidia Nemotron в поиск для агентов: в 4 раза быстрее и на 90% меньше токенов

Если вы делали агентов поверх корпоративных файлов, то знаете эту боль: агент получает вопрос, лезет в хранилище и тащит в контекст полдокумента, чтобы найти один абзац. Это медленно, дорого и чревато ошибками. Box решил эту проблему на уровне платформы и подключил к ядру продукта эмбеддинги Nvidia Nemotron.

Что показали

На конференции для разработчиков Box представил функцию Box Content Retrieval. Она отдаёт агентам не документы целиком, а самые релевантные фрагменты под конкретный запрос или задачу. Генеральный директор Aaron Levie описал это так: агенту больше не нужно «читать каждый документ», ему возвращают нужные куски.

Названные цифры принадлежат Nvidia. Вице-президент по генеративному ИИ Kari Briski ожидает ответов в четыре раза быстрее, на 20% меньше ошибок и на 90% меньше потраченных токенов. Функция станет доступна всем клиентам тарифа Enterprise Advance в начале следующего года.

Как это работает на примере

Представьте юриста, который просит агента найти все пункты об ограничении ответственности в сотне договоров. Классический поиск по ключевым словам пропустит формулировки с другими словами или на другом языке. Эмбеддинги работают иначе: они переводят текст в числовое представление смысла. Поэтому близкие по сути пункты находятся, даже если написаны иначе.

Nemotron Embed — это набор моделей с открытыми весами, которые используют LLM для предобработки данных. Результат такой обработки агент потом использует при поиске. По данным статьи, июльский релиз Nemotron возглавил бенчмарк RTEB, который измеряет качество retrieval. Крупные лаборатории такие модели часто недооценивали, а Nvidia сделала на них заметную ставку.

Экономия токенов тут вполне логична. Если в контекст попадает один релевантный фрагмент вместо длинного файла, модель читает меньше текста. Отсюда выигрыш в скорости и стоимости, а меньше шума в контексте обычно означает меньше ошибок.

Ограничения и подвох

Самих моделей недостаточно. Хотя Nemotron доступен бесплатно, Box опирается на собственные метаданные и систему прав доступа, и повторить такое решение с нуля будет непросто. Levie говорит, что в одном простом API у них упаковано примерно пять разных технологий. Для Box это защитный ров, а для команд, которые строят похожее у себя, — предупреждение о трудоёмкости.

Есть и оговорка по цифрам. Обещания 4x, −20% ошибок и −90% токенов исходят от Nvidia и самого вендора, а продукт пока не выпущен. Условия замеров неизвестны, поэтому проверять придётся на своих данных. Кроме того, функция доступна только на старшем тарифе, так что для остальных клиентов Box это будущая опция.

Что делать на практике

Во-первых, если вы строите агентов с доступом к документам, посмотрите на retrieval как на отдельный слой, а не как на мелочь рядом с моделью. Чаще всего именно он определяет и счёт за токены, и качество ответов.

Во-вторых, открытые эмбеддинг-модели Nemotron можно попробовать уже сейчас на собственном корпусе и сравнить с тем, что вы используете. Особое внимание стоит уделить многоязычным данным, где ключевые слова подводят.

В-третьих, продактам стоит помнить, что права доступа и метаданные — часть качества поиска. Агент, который находит нужное, но не учитывает, кому это можно показывать, для бизнеса бесполезен. Именно эту часть Box считает своим преимуществом, и на неё же стоит смотреть при выборе между готовой платформой и собственной сборкой.