Habr AI→ оригинал

وصفت Wildberries & Russ مستوى نضج البيانات المطلوب للوكلاء الذكيين الدقيقين

اقترحت Wildberries & Russ نموذج نضج وصف البيانات يتراوح بين Rare و Well-Done وأظهرت لماذا يبدأ وكلاء الذكاء الاصطناعي بالهلوسة حتى في مهام SQL البسيطة بدون بيان

وصفت Wildberries & Russ مستوى نضج البيانات المطلوب للوكلاء الذكيين الدقيقين
Источник: Habr AI. Коллаж: Hamidun News.

Wildberries & Russ предлагает смотреть на качество описания данных так же прагматично, как на степень прожарки стейка: от Rare до Well-Done. Смысл простой: чем лучше компания описала свои таблицы, поля, бизнес-термины и метрики, тем меньше ИИ-агенты галлюцинируют и тем ближе они к реальным бизнес-инсайтам, а не к правдоподобным, но бесполезным ответам. В компании считают, что главная проблема больших данных сегодня не в нехватке моделей, а в слабом сопровождении самих данных.

В крупной организации новые таблицы появляются быстрее, чем команды успевают описывать их вручную. Из-за этого аналитики тратят время на поиск нужных источников, показатели начинают расходиться между отчётами, а доступ к неразмеченным наборам данных превращается в риск для безопасности. Особенно остро это выглядит там, где есть персональные данные и жёсткие требования к контролю доступа.

Ручной подход в такой среде просто перестаёт масштабироваться. Первый уровень зрелости, Rare, в этой модели считается минимально достаточным для безопасной работы с данными. На нём у каждого набора должен быть владелец, физическая модель и разметка конфиденциальности.

Физическую модель можно вытягивать автоматически из системных таблиц и дата-каталогов, а если описания полей пустые, ИИ может попытаться восстановить их по naming convention и корпоративным базам знаний. С владельцами автоматизация работает хуже: модель может предложить кандидата, но ответственность всё равно назначается вручную. Зато разметка чувствительных данных выглядит как одна из первых практических задач для LLM: модель может анализировать названия таблиц, колонок и бизнес-терминов и выставлять теги безопасности ещё до глубокого сканирования содержимого.

На уровне Medium акцент смещается с технической структуры на бизнес-смысл. Здесь появляются глоссарий и логический слой, который переводит язык таблиц и колонок на понятные бизнесу сущности и атрибуты. Такой слой скрывает служебные префиксы, сложные джойны и детали хранения, а дата-стюарды могут использовать ИИ как второго пилота для привязки полей к существующим терминам и для поиска пробелов в описаниях.

Если агент подключён к каталогу метаданных через MCP, он способен по запросу доставать нужные схемы, сопоставлять их с глоссарием и ускорять работу, которая раньше занимала часы. Дополнительно Wildberries & Russ предлагает извлекать связи не только из структуры хранилища, но и из логов SQL-запросов: по ним можно понять, какие таблицы аналитики чаще соединяют, какие фильтры используют и как реально потребляются данные. Самый высокий уровень, Well-Done, нужен уже не просто для навигации по данным, а для полноценной работы text-to-SQL и агентных систем.

Здесь поверх физического и логического описания строится семантический слой: факты, метрики, измерения, связи, фильтры и проверенные запросы на естественном языке с готовыми SQL-ответами. Именно этот слой объясняет модели, что бизнес имеет в виду под «активным клиентом», «валовой выручкой» или другой метрикой, а не заставляет угадывать смысл по названиям полей. В статье приводится показательный пример: если спросить ИИ, сколько активных клиентов было в марте, модель без семантики может просто посчитать строки со статусом active, хотя по правилам компании активным считается клиент, который сделал хотя бы один заказ выше заданного порога.

По словам автора, именно здесь открытые стандарты вроде OSI становятся критически важными, потому что позволяют описывать смысл данных в переносимом формате, совместимом с современными инструментами семантического слоя. Отдельно отмечается и практический эффект: в материалах Snowflake для Cortex Analyst упоминается рост точности примерно на 20 процентов при работе через корректно описанную семантику, а целевая планка для реальных сценариев — более 90 процентов точности SQL. Что это значит на практике: рынок постепенно уходит от идеи, что достаточно просто подключить LLM к базе и ждать магии.

Подход Wildberries & Russ показывает более трезвую траекторию: сначала навести порядок в владельцах, структуре и классификации данных, затем собрать логический словарь, и только после этого строить семантический слой для агентов. Для компаний, которые хотят внедрять ИИ-помощников в аналитику, это звучит как неприятная, но полезная правда: качество ответа модели теперь напрямую зависит не только от самой модели, но и от зрелости описания данных внутри бизнеса.

ЖХ
Hamidun News
AI‑новости без шума. Ежедневный редакторский отбор из 400+ источников. Продукт Жемала Хамидуна, Head of AI в Alpina Digital.
Загружаем комментарии…