Cognition научила Devin выдавать лимиты по эффективности: шкала 0–100

Cognition, компания за агентом Devin, предлагает корпоративным клиентам отказаться от единых потолков на расходы ИИ и распределять бюджет по отдаче. Для этого выпущены три функции: Efficiency Score (оценка 0–100 для каждого инженера), Devin Coach (подсказки по промпту до запуска) и автоодобрение повышения лимитов для эффективных пользователей. Автоодобрение уже доступно всем клиентам плана Devin Enterprise. Cognition сравнивает общий лимит с заморозкой найма: он ограничивает и тех, кто получает от агента максимум, и не объясняет остальным, что делать иначе.

Как считается Efficiency Score

Базовая единица в Cognition — Agent Compute Unit (ACU). Она объединяет стоимость LLM и облачной инфраструктуры. Оценка строится на недавних сессиях, а не на среднем за всё время, поэтому старые ошибки не тянутся бесконечно.

Сначала Devin определяет, дала ли сессия полезный результат. Если был PR, он должен быть смёржен. Если PR нет, маленький классификатор решает, продвинулся ли агент в задаче: разобрал баг или ответил на аналитический вопрос. Так расследования и планирование тоже получают кредит. Затем для каждой засчитанной сессии оценивается, сколько часов та же работа заняла бы у человека. Эти оценки Cognition сверяла с собственными оценками инженеров по их сессиям.

Итог складывается из двух метрик:

• E (эффективность): продуктивные часы на ACU;
• V (объём): продуктивные часы в день, независимо от стоимости;
• формула: Score = 100 × (E + λV(1 − E)), где λ = 0,2;
• оба рейтинга приводятся к шкале 0–1 и выравниваются на высоких значениях;
• грейды: Healthy, Satisfactory, Needs Improvement и Unknown, если данных мало.

На примерах за последние 200 ACU видно, как это работает. «Типичный» инженер (E = 0,50, V = 0,50) получает 55. Power user с тем же E, но V = 0,95 получает 60. «Тяжёлый, но расточительный» (E = 0,27, V = 0,95) выходит на 41. Аккуратный инженер с малым объёмом (E = 0,75, V = 0,17) получает 76. Объём добавляет не больше пятой части очков, оставшихся до 100, так что за один только объём высокую оценку не получить.

Coach и автоодобрение

Devin Coach разбирает промпт до запуска. Cognition выделила типичные ошибки новичков: слишком общий запрос, самый дорогой режим по умолчанию, несколько несвязанных задач в одной сессии. Например, на «перепиши биллинг под usage-based pricing» Coach предложит сначала составить план. Для смены текста кнопки посоветует вместо режима Ultra взять обычный. Для несвязанных просьб предложит новую сессию или дочерние сессии, а для явно личных запросов вроде планирования отпуска напомнит, что это не рабочее использование.

Под капотом работает небольшой LLM-классификатор с фиксированным набором паттернов. Его настраивали на нескольких сотнях размеченных примеров с упором на случаи, где хороший промпт трогать не нужно. Админ выбирает уровень вмешательства: подсказки, которые можно игнорировать (по умолчанию), обязательное подтверждение для промпта, помеченного как новая сессия, или полное отключение. Промпты Coach молча не переписывает. Админская аналитика показывает, какие подсказки видят, принимают и отклоняют пользователи.

Автоодобрение включается в Usage policies опцией «Approve based on efficiency». Когда инженер с Healthy или Satisfactory подходит к лимиту, Devin поднимает его сам, но не выше потолка, заданного админом, а общие лимиты организации продолжают действовать. Если запрос превышает потолок, Devin выдаёт максимум и передаёт остаток админу. Автоматических отказов нет: запросы от Needs Improvement и Unknown идут на ручной разбор, где админ видит причину, эффективность, микс моделей и потребление.

Cognition приводит два реальных случая из разных компаний. В первой, с ручными согласованиями, инженер четыре дня был заблокирован, и его merged PR за ту неделю упали до трети обычного. Во второй с автоодобрением инженер упёрся в лимит 22 раза, Devin каждый раз его поднимал, и недельное число merged PR выросло с 30 почти до 80. Два наблюдения не заменяют исследование, а метрика «продуктивных часов» остаётся внутренней оценкой самой Cognition.

Что проверить командам до внедрения

Перво-наперво посмотрите, на чём держится ваш нынешний потолок. Если это единая цифра на всех, вы, скорее всего, штрафуете самых полезных пользователей. Но и принимать оценку Cognition на веру не стоит: сверьте её с вашей реальностью, например с долей PR, которые доходят до мёржа, и со стоимостью ACU на merged PR.

Потолок автоодобрения разумно начать с консервативного значения и расширять по данным. Включите Coach в режиме подсказок и следите за долей принятых рекомендаций: низкая доля означает либо шумный классификатор, либо проблемы с обучением. Отдельно учтите, что Needs Improvement попадает в ручную очередь, поэтому заранее договоритесь, кто и как разговаривает с такими инженерами.

В ближайшие месяцы Cognition обещает гибкие бюджеты: админ распределяет деньги между руководителями департаментов, а они делят лимиты между командами и сами согласуют запросы.