Doubletapp explicou por que datasets fracos impedem AI de aumentar NPS, CTR e conversão

Doubletapp выпустила интервью о том, почему AI-проекты чаще ломаются не на выборе модели, а на данных. Руководитель юнита Data LLM Ильнур Файзиев объяснил, как качество датасета напрямую отражается на NPS поддержки, CTR каталога и конверсии в покупку.

Где теряются метрики

Главная мысль интервью простая: бизнес покупает не модель как таковую, а улучшение конкретной цифры. В поддержке это скорость решения обращения и удовлетворенность клиента, в онлайн-ритейле — кликабельность карточек и доля заказов, в поиске по базе знаний — точность ответа. Если датасет собран с шумом, плохой разметкой или без связи с реальными сценариями, модель начинает ошибаться там, где для бизнеса каждая ошибка стоит денег.

Поэтому разговор о данных здесь не академический, а прямой разговор про выручку, издержки и качество сервиса. В материале приводятся и менее очевидные кейсы. Для промышленной компании AI может искать ответы по внутренним регламентам и снижать количество ошибок на производстве.

Для задач компьютерного зрения — определять качество стали по параметрам процесса и помогать удерживать стабильный результат. Во всех случаях есть одна и та же логика: наверху находится бизнес-метрика, ниже — качество работы ML-системы, а под ней лежит датасет, который либо усиливает модель, либо незаметно тянет ее вниз.

• NPS и время ответа в поддержке CTR и конверсия в e-commerce Точность поиска по внутренней базе знаний Снижение ошибок в производственных процессах Качество распознавания в системах компьютерного зрения ## Когда датасет обязателен По словам Файзиева, качественный датасет нужен в двух типовых ситуациях. Первая — когда компания только сравнивает AI с ручным трудом и хочет понять, можно ли вообще запускать решение в прод. Вторая — когда система уже работает, но ее метрики перестали устраивать: ответы нерелевантны, рекомендации не приводят к покупке, а скорость или точность уперлись в потолок. В обоих случаях без измеримого текущего качества и понятной целевой метрики работа с данными превращается в угадайку.

«Датасеты нужны на двух этапах разработки продукта».

Отдельный акцент сделан на экономике. Датасет — не бесконечная кастомная разработка, а скорее конечный артефакт, который можно подготовить, проверить и загрузить в пайплайн обучения или дообучения. Да, аудит модели нужно повторять регулярно, но именно сбор и разметка обычно выгоднее отдавать тем, кто специализируется на этом процессе. Если держать все внутри компании, инженеры тратят недели на подбор примеров, организацию окружения, контроль качества и управление разметчиками. Для бизнеса это часто дороже, чем кажется на старте.

Почему краудсорсинг слабеет Интервью интересно и тем, что оно фиксирует сдвиг на рынке.

Массовый краудсорсинг хорошо работал в эпоху простых задач вроде «кошка или собака». Сейчас такие сценарии сами модели закрывают достаточно уверенно, поэтому человеческая разметка смещается в экспертные домены. Если речь идет о кодовом ассистенте для редкого языка, сложной промышленной валидации или предметной базе знаний, нужен не просто большой поток исполнителей, а люди, которые реально понимают контекст задачи и способны заметить тонкие ошибки.

Комбинированная схема все еще возможна: простую часть пайплайна можно отдать на массовую разметку, а сложную — экспертной команде. Но тогда у бизнеса появляется новая нагрузка: декомпозиция задачи, поиск разных подрядчиков, передача контекста между ними и дополнительный контроль качества на стыках. Именно поэтому рынок, по оценке Doubletapp, пока остается относительно узким и держится вокруг крупных LLM-компаний и тех проектов, где улучшение метрик легко пересчитать в деньги.

Что это значит

Для рынка это сигнал, что конкурентное преимущество в AI все чаще смещается от выбора самой громкой модели к качеству прикладных данных. Большим игрокам по-прежнему нужны крупные датасеты, но следующая волна спроса может прийти от небольших команд с нишевыми AI-продуктами. Сначала они проверят MVP на готовых данных, а когда увидят экономику, начнут покупать точечные датасеты под свои слабые места — и именно там будет появляться реальный рост метрик.