Groq обработал пять отзывов за 2 секунды, Ollama — за 81: что скрывает тест

Допустим, вы хотите автоматически разделять отзывы покупателей на положительные и отрицательные. Есть два пути: запускать модель на своём компьютере или отправлять тексты через облачный API. Вопрос вполне прикладной: сколько придётся ждать ответа, во что обойдётся обработка и куда попадут данные клиентов.

Machine Learning Mastery опубликовал учебный пример такого сравнения. В авторском запуске локальная модель обработала пять отзывов за 80,71 секунды, облачная — за 2,02 секунды. Разница почти сорокакратная. Однако использовать эти цифры для выбора инфраструктуры пока рано: эксперимент сравнивает разные модели, а условия локального запуска раскрыты недостаточно.

Как устроено сравнение

Автор собирает два классификатора с привычными для пользователей scikit-learn методами fit() и predict(). Первый использует Scikit-Ollama и локальную Llama 3. Второй работает через Scikit-LLM и отправляет запросы модели gpt-oss-20b через API Groq. Обоим передают одинаковые пять английских фраз и две доступные категории: положительная и отрицательная.

Общая функция запускает классификатор, измеряет суммарное время и сверяет ответы с заранее заданными метками. Это удобная заготовка: вместо демонстрационных предложений можно подставить отзывы своего магазина, обращения в поддержку или короткие сообщения пользователей. Интерфейс позволяет сохранить общую логику измерения при замене исполнителя.

В приведённых результатах локальная модель правильно классифицировала четыре фразы из пяти, облачная — все пять. Получились 80% и 100% точности. Время включает вызовы fit() и predict(), поэтому приведённые секунды описывают весь измеренный проход, а не задержку отдельного запроса.

Почему победитель ещё не определён

Главная проблема — одновременно меняются модель и место выполнения. Поэтому эксперимент не отделяет влияние инфраструктуры от различий между Llama 3 и gpt-oss-20b. Одинаковая функция измерения делает процедуру удобнее, но сама по себе не обеспечивает сопоставимость систем.

Кроме того, в материале не приведены характеристики локального оборудования, серия повторных запусков и отдельные результаты после прогрева модели. Без этого невозможно понять, насколько показатель 80,71 секунды характерен для другого компьютера. Одна суммарная цифра также не показывает разброс задержек, который может влиять на пользовательский опыт.

С точностью ситуация ещё нагляднее. Единственное расхождение возникло на отзыве, который можно перевести как «Нормально, ничего особенного, но работает». Автор пометил его положительным, локальная модель — отрицательным. Нейтрального класса в задании нет. Получается, весь разрыв в двадцать процентных пунктов связан с одной неоднозначной фразой и выбранной схемой разметки.

Стоимость здесь тоже не измеряется. Функция просто печатает переданную строку «$0». Для локального запуска это не учитывает оборудование и электричество; для облачного — не раскрывает условия бесплатного доступа и ограничения нагрузки. Утверждение об абсолютной приватности также требует оговорки: запуск в Google Colab, который допускает инструкция, уже происходит на внешней инфраструктуре.

Что взять в свой проект

Практическая ценность материала — в каркасе эксперимента. Начните с репрезентативной выборки реальных сообщений и понятных правил разметки. Если нейтральные отзывы встречаются в продукте, заранее решите, нужна ли им отдельная категория. Иначе часть «ошибок модели» окажется разногласием о смысле меток.

Затем зафиксируйте версии моделей, параметры запуска и оборудование. Проведите повторные измерения, отдельно оцените первый запрос и работу после прогрева. Для сервиса полезно знать не только среднее время, но и задержку медленных ответов, поведение под параллельной нагрузкой и долю сбоев.

Наконец, считайте стоимость на ожидаемом объёме обращений и проверяйте требования к передаче данных. Представленный тест показывает, как быстро собрать первый прототип сравнения. Решение о локальном или облачном исполнении стоит принимать по результатам на собственной задаче: опубликованные пять отзывов такого основания не дают.