Команда собрала open-source помощника и сравнила с 1С-Напарником на 7 вопросах

На Habr вышел разбор, который проверяет популярную гипотезу корпоративного ИИ: у кого лучше ответы, у вендора с закрытыми материалами или у команды, собравшей помощника из открытых компонентов. Авторы построили интерактивного ассистента на open-source стеке и сравнили его с 1С-Напарником на семи вопросах из ежедневной работы пользователей и разработчиков платформы 1С. Анонс не раскрывает, кто выиграл, но сама постановка задачи интересна для всех, кто внедряет LLM в прикладные продукты.

Какой вопрос на самом деле решают

В анонсе спор сформулирован как выбор между двумя инженерными стратегиями. Первая: дообучить узкую модель на предметной области. Это дорого, долго и требует данных, которые есть не у всех. Вторая: взять обычную облачную модель общего назначения и построить вокруг неё качественную обвязку, то есть поиск по документации, подготовку контекста, правила ответа и проверки.

У 1С-Напарника формальное преимущество очевидно. Вендор владеет документацией, методическими материалами и знанием о внутренних механизмах платформы, причём доступ к ним у него неограниченный и привилегированный. Конкурент, работающий с публичными источниками, по логике начинает с заметным отставанием. Авторы разбора как раз проверяют, превращается ли это отставание в разницу в ответах.

Как устроено сравнение

Из опубликованного фрагмента известны только рамки эксперимента:

• Участники: 1С-Напарник от вендора и интерактивный помощник на open-source стеке, собранный авторами.
• Набор вопросов: 7 задач из повседневной работы.
• Аудитория вопросов: и обычные пользователи, и разработчики 1С.
• Центральная гипотеза: обвязка вокруг облачной модели может догнать специализированную модель вендора.
• Состав стека, названия моделей и методика оценки в анонсе не приведены.

Семь вопросов не дают статистической значимости. Это скорее качественная проверка на типичных сценариях: от вопросов про работу в интерфейсе до написания и разбора кода. Для такой задачи выборка нормальна, но обобщать выводы на весь класс запросов нельзя. Гораздо важнее, как именно авторы оценивали ответы: по точности, по применимости в работе или по наличию ссылок на источники. От этого зависит и итоговый вердикт.

Почему тема важна за пределами 1С

Платформа 1С остаётся массовым инструментом учёта и автоматизации для российских компаний, и вокруг неё большое сообщество разработчиков. Ассистент, который быстро отвечает на вопросы по платформе и помогает с кодом, экономит конкретные часы работы. При этом спор «специализированная модель против обвязки» шире одной экосистемы. Он повторяется в юридических, медицинских, инженерных и финансовых продуктах: стоит ли вкладываться в обучение или достаточно хорошего поиска по базе знаний и аккуратной подготовки контекста.

Обычно обвязка выигрывает по скорости запуска и стоимости владения. Она позволяет заменить модель, когда выходит более сильная, и обновлять знания без переобучения. Дообучение даёт более устойчивый стиль и знание узкой терминологии, но стареет вместе с версиями платформы.

Что делать читателю

Если вы выбираете помощника для команды на 1С, не полагайтесь на чужие семь вопросов. Соберите собственный набор из 20–30 реальных задач: частые вопросы поддержки, типичные запросы разработчиков, пара сложных случаев с нетривиальной конфигурацией. Прогоните через оба варианта и оцените ответы вслепую, не зная, какой система выдала какой.

Смотрите на три вещи: сколько ответов можно применить без правок, как часто система выдумывает несуществующие методы или объекты, и даёт ли она ссылки на документацию для проверки. Отдельно посчитайте стоимость: подписка или лимиты у вендорского решения против инфраструктуры и поддержки собственной сборки. И сначала прочитайте полный текст на Habr: именно там должны быть методика, стек и результаты, которых в анонсе нет.