Cohere объяснила, почему ROI от ИИ сложно посчитать, и как это делать

Cohere опубликовала в корпоративном блоге разбор того, как компаниям считать возврат инвестиций в ИИ. Основа расчёта умещается в одну строку: ROI = (финансовая выгода − полная стоимость) ÷ полная стоимость × 100. Вся трудность в том, что именно попадает в числитель и знаменатель. Текст написан продакт-маркетологом Арианой Миллиган, то есть это взгляд вендора. Но большинство аргументов не привязано к конкретному поставщику моделей.

Что считать выгодой, а что затратами

Cohere определяет AI ROI как финансовую отдачу от инвестиции относительно полной стоимости её внедрения и эксплуатации. Отдача приходит двумя путями: через экономию или через дополнительную прибыль с продаж. Ключевая оговорка в том, что операционные улучшения сами по себе не равны деньгам. Быстрее выполненная задача, больший объём выпуска или более качественная работа могут дать финансовый эффект, но положительный ROI появляется, только если этот эффект превышает цену его получения.

Усложняет дело то, что затраты размазаны по технической инфраструктуре и операционным ресурсам, а выгоду трудно изолировать: ИИ обычно встроен в более широкие бизнес-процессы. Выделить его вклад в итоговый результат получается не всегда.

Четыре источника расхождений между прогнозом и фактом

Автор перечисляет особенности ИИ-инвестиций, из-за которых расчёт ломается чаще всего. В опубликованной части текста их четыре:

• Юнит-экономика зависит от нагрузки и масштаба. Длинный контекст, больше рассуждений, больше обращений к модели и инструментам означают более дорогую задачу. У агентных систем разброс ещё выше: похожие задачи выполняются за разное число шагов и повторов. Пилотные затраты на задачу могут не совпасть с продакшеном, где нагрузка крупнее и разнообразнее. Рост использования увеличивает переменные расходы, но может повысить загрузку уже оплаченных мощностей.
• Выбор модели и схемы развёртывания меняет баланс цены и качества. Дорогие модели нужны для сложных задач, для простых часто хватает дешёвых. Cohere выделяет подход cost-aware routing: приложение использует несколько моделей и отправляет каждую задачу в самую дешёвую из тех, что укладываются в требования по качеству.
• Развёртывание влияет на структуру затрат. Управляемые сервисы с оплатой по факту выгоднее при небольшом или непредсказуемом спросе. Выделенные мощности, хостящиеся у провайдера или собственные, дают лучшую юнит-экономику при высокой стабильной нагрузке, но простаивают при слабом или неровном спросе. Кроме цены, решают задержки, резидентность данных, безопасность и операционный контроль.
• Требования к качеству и надёжности увеличивают операционные расходы. Мониторинг стабильности выходов, автоматические проверки и передача сомнительных или рискованных случаев человеку добавляют расходы на вычисления, инструменты и труд. У агентов оценивать приходится ещё и цепочку вызовов инструментов, а не только финальный ответ.

К этому добавляется ещё одна ловушка: выигрыш на уровне отдельной задачи может завышать финансовый эффект для всей организации. Если другой этап процесса остаётся узким местом, ускорение просто переносит затор в другое место, а сквозная пропускная способность не растёт. Продолжение этого раздела в доступном тексте обрывается.

Как применять это на практике

Ниже наш редакционный вывод из логики материала, а не цитаты Cohere.

Первое: считайте стоимость завершённой бизнес-задачи, а не цену токена. Для агентов берите распределение, а не среднее: медиана и хвост по числу шагов и повторов показывают реальный бюджет.

Второе: пересчитывайте пилот на продакшен-нагрузку до утверждения бюджета. Включайте в знаменатель оценку, мониторинг и ручную проверку, иначе ROI окажется завышенным.

Третье: перед тем как записывать экономию времени в выгоду, проверьте, где в процессе следующее узкое место. Если пропускная способность всего процесса не выросла, денег вы пока не сэкономили.

Четвёртое: сравнивайте схемы развёртывания по профилю спроса. Для нестабильной нагрузки подойдёт оплата по факту, для плотной и постоянной стоит просчитать выделенные мощности. Ограничения по задержкам, данным и безопасности могут отсечь часть вариантов ещё до сравнения цен.