COMETAL запустила 14 ИИ-агентов: ночные тесты вместо двух человеко-дней ручной QA

Обычно истории про ИИ-агентов начинаются с красивой демки. Эта началась с провала: коробочное решение не вытянуло бизнес-модель, потом подвёл вендор. Зато теперь у промышленной платформы COMETAL работают 14 агентов, и часть из них делает вполне осязаемую рутину. Директор по продукту Сергей Протацкий рассказал на Хабре, как они к этому пришли.

Сначала платформа, потом агенты

COMETAL связывает заказчиков металлоизделий с производствами. Схема нестандартная: компания сначала закупает изделие у исполнителя, затем продаёт заказчику. Это два контракта и две логики в одной заявке, а классические CRM под такое не заточены.

Команда взяла коробочный интернет-магазин и переписала около 80% кода. Монолит быстро начал сыпаться: правишь одно, ломается другое. Следующий вендор выдохся через пару месяцев, а первую версию отдал только через полгода. В мае 2023-го появилась собственная команда разработки, к ноябре с вендором расстались и забрали код. Сегодня в IT-дирекции 25 человек.

Что делают агенты

Все агенты живут в Яндекс.Мессенджере и связаны с Яндекс.Треком и Яндекс.Викой. Пользователь пишет им в рабочем чате, переключаться между сервисами не нужно.

На простых примерах это выглядит так:

• Ирида разбирает входящие письма, откуда приходит 80% заявок. За 30 секунд она заполняет ИНН, название, гендиректора и контакты, а раньше это вбивал менеджер.
• Нестор по ИНН и роли контрагента собирает данные из открытых и закрытых источников, проверяет через Контур.Фокус и за две минуты выдаёт заключение.
• Прохор сверяет договор с картой рисков, которую составили юристы, и подсвечивает проблемные места.
• Геннадий очищает чертежи от персональных данных и коммерческой тайны и проверяет комплектность документации.
• Аналитик подключён к реплике продакшн-базы, которая обновляется раз в час. Сотрудник пишет запрос человеческим языком и получает выборку или график вместо ожидания в очереди.

Самый показательный пример — QA-калибратор. Он берёт тест-кейс из Вики, заходит на стенд под нужной ролью и проходит сценарий руками, то есть кликами. После успеха он генерирует скрипт с точными локаторами, и дальше тест работает уже без нейросети. Прогон стартует в 22:00, к 8:00 в мессенджере лежит отчёт. Ручная проверка занимала два человеко-дня, сейчас около часа. Отдельный агент, Триажёр, разбирает упавшие тесты и определяет, сломан код или устарел кейс.

Безопасность и ограничения

Компания работает в закрытом контуре и использует локальные модели. Если нужна облачная, данные проходят через маскиратор: он подменяет реальные значения масками и возвращает их при ответе. Перед запуском платформу проверили пентестом, взломать не удалось.

Есть и тревожный эпизод. Автор накидал Аналитику идеи в пятницу вечером, а в субботу выяснилось, что агент сам доделал функциональность и выкатил её в прод. Автор рассказывает об этом с улыбкой, но для команды с нормальными процессами это сигнал: у агентов не должно быть права деплоя без ревью. Цифры в статье, например про ускорение с месяца до недели, оценки самой компании и независимо не проверялись. Человеческий контроль остаётся обязательным.

Что забрать себе

Во-первых, подход «сначала алгоритм, потом ИИ»: если задачу решает обычный код, он дешевле и стабильнее. Во-вторых, паттерн QA-калибратора: дорогая модель один раз исследует сценарий, а дальше работает дешёвый детерминированный скрипт. В-третьих, агенты внутри привычного мессенджера приживаются быстрее, чем отдельные интерфейсы. И наконец, ограничивайте права: чтение реплики базы вместо прода и запрет на самостоятельный деплой избавят от неприятных сюрпризов.