Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)
ИнфраструктураAPI / Продукт · В работуAWS Machine Learning Blog→ оригинал

Малая Qwen3-14B от Exowatt точнее Claude Opus 4.7: 97,5% против 62,5% и в 49 раз дешевле

Exowatt, которая строит солнечные станции для дата-центров, дообучила малую модель Qwen3-14B на своих данных вместо вызова дорогого API. В классификации событий энергорынка (например, скачка цены) по метрике macro-F1, усредняющей качество по всем типам событий, она набирает 97,5%, а Claude Opus 4.7 — 62,5%. Тысяча ответов стоит $0,60 против $29,26, то есть в 49 раз дешевле. Для узкой повторяющейся задачи малая модель выгоднее флагмана.

AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Малая Qwen3-14B от Exowatt точнее Claude Opus 4.7: 97,5% против 62,5% и в 49 раз дешевле
Источник: AWS Machine Learning Blog. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникAWS Machine Learning Blog ↗
Главный редактор
Ключевой факт #1Версия Qwen3-1.7B (1,71 ГиБ) работает на обычном CPU без интернета
Ключевой факт #2Обучение 1,7B заняло 32 минуты и $20–25, а 14B — около 8,5 часа
Ключевой факт #3684 проверенных решения превратили в 2 522 примера перефразами

Exowatt строит модульные солнечные станции с тепловым накопителем и питает ими дата-центры напрямую, в обход многолетних очередей на подключение к сети. На каждой площадке круглосуточно появляются аварийные сигналы, а ещё нужно решать, сколько запасённой энергии держать и когда отдавать. Оператора на каждый объект не посадишь, а отправлять каждое решение в API флагмана вроде Claude Opus 4.

7 слишком дорого. Поэтому компания дообучила, то есть доучила готовые открытые модели на своих примерах, две небольшие Qwen3. Версия на 14 млрд параметров определяет события энергорынка с оценкой macro-F1 97,5% против 62,5% у Opus 4.

7. Эта метрика усредняет качество по всем типам событий, так что редкие случаи весят столько же, сколько частые. Тысяча ответов обходится в $0,60 вместо $29,26, то есть примерно в 49 раз дешевле.

Детали опубликованы в блоге AWS Machine Learning.

Две задачи, две модели

Первая задача — разбор аварийных сигналов на площадке. Модель получает тревогу вместе с телеметрией и возвращает один из небольшого набора диагнозов (система offline, узел работает на сниженной мощности, расхождение датчиков) со ссылками на данные. Если доказательств мало, она честно отказывается отвечать. Работать это должно на месте, часто без GPU и без интернета, поэтому выбрали Qwen3-1.7B. После квантизации до 8 бит (сжатия весов) модель занимает около 1,71 ГиБ и запускается через llama.cpp в Kubernetes-поде на обычном CPU-сервере объекта.

Вторая задача — анализ энергорынка. Модель Qwen3-14B читает шестичасовой пакет данных (около 90 строк цен в реальном времени, прогнозов на сутки вперёд и уведомлений сети) и за четыре секунды определяет одно из пяти событий, например скачок цены. Каждое утверждение привязано к конкретной строке данных. Модель разместили в Amazon Bedrock через Custom Model Import: простоя нет, а $6,86 в час начисляются только пока модель активна.

Цифры: точность и цена

На разборе тревог дообученная Qwen3-1.7B показала 91,1% macro-F1. Claude Sonnet 4.6 дал 69,8%, Opus 4.7 — 68%, Haiku 4.5 — 51,9%. Исходная 1,7B вообще не проходила проверку на валидный ответ. Внешние модели стоят $4,70–22 за 1000 решений, а на своём CPU у Exowatt нет платы за запрос.

На энергорынке Qwen3-14B набрала 97,5% против 62,5% у Opus 4.7 и 53,8% у Sonnet 4.6, а базовая Qwen3-14B без дообучения — 41,5%. Она выдавала корректный JSON, но рынка не знала. Тысяча ответов у дообученной модели стоит $0,60, у Opus — $29,26. На втором, более позднем тестовом наборе модель удержала 96,8%.

Что сработало на практике

Самый поучительный пункт — данные. Для тревог собрали всего 684 проверенных решения на сгенерированных сценариях, а затем большая модель перефразировала текст, не меняя решение, метки и числа. Из 2 218 вариантов проверку прошли 1 838, и вышло 2 522 примера. Перефразы обошлись примерно в $3,72. Результат: macro-F1 вырос с 58,4% на исходных 684 строках до 91,1%. Контрольный прогон на тех же 684 строках в 11 эпох дал лишь 87,9%, так что разнообразие формулировок помогло сильнее, чем повторение одних и тех же примеров.

Для рынка использовали пять лет публичных данных ERCOT (оператора сети Техаса), около 163 млн строк. Из них правилами разметили 25 000 примеров, а обучающую часть расширили до 86 281 строки перефразами Claude Sonnet 4.6. Три перефраза на ответ подняли macro-F1 с 95,0% до 97,5%. Обучение шло одну эпоху LoRA (rank 16, alpha 32) около 8,5 часа. Всего за шесть дней команда запустила 23 задачи (около 155 часов обучения), причём до четырёх одновременно. Serverless-режим SageMaker сам выделяет мощности, поэтому не пришлось выбирать тип GPU и ждать его освобождения.

Вторая находка — защита от выдумок. Модели возвращают строгий JSON, и любое утверждение, у которого ссылка на источник, поле или значение не совпадает с входными данными, отбрасывается до того, как дойдёт до оператора. Edge-модель при нехватке данных воздерживается от ответа. Пока систему гоняли в теневом режиме на облачной копии площадки.

Ограничения и вывод

Это блог AWS о сервисе AWS, поэтому читать его стоит с поправкой. Сравнение идёт на собственных тестовых наборах Exowatt, часть которых собрана на сгенерированных сценариях. Флагманские модели проверяли промптами, без дообучения под задачу. Цены Bedrock взяты по прайс-листу, а работа на CPU считается бесплатной без учёта железа и поддержки. Победа узкой модели не означает, что она сильнее в целом: вне своей задачи она проиграет.

Для практиков вывод такой. Если задача повторяется постоянно, формат ответа фиксирован и есть хотя бы несколько сотен проверенных примеров, сначала стоит проверить дообученную малую модель. Самое ценное в истории — конвейер: сырые данные, проверенный набор, обучение, оценка и упаковка модели. Exowatt теперь проходит этот путь за дни, а не за месяцы, и собирается повторять его для новых типов устройств.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: две задачи, две модели?

Первая задача — разбор аварийных сигналов на площадке. Модель получает тревогу вместе с телеметрией и возвращает один из небольшого набора диагнозов (система offline, узел работает на сниженной мощности, расхождение датчиков) со ссылками на данные. Если доказательств мало, она честно отказывается отвечать. Работать это должно на месте, часто без GPU и без интернета, поэтому выбрали Qwen3-1.7B.

Что известно по теме: цифры: точность и цена?

На разборе тревог дообученная Qwen3-1.7B показала 91,1% macro-F1. Claude Sonnet 4.6 дал 69,8%, Opus 4.7 — 68%, Haiku 4.5 — 51,9%. Исходная 1,7B вообще не проходила проверку на валидный ответ. Внешние модели стоят $4,70–22 за 1000 решений, а на своём CPU у Exowatt нет платы за запрос. На энергорынке Qwen3-14B набрала 97,5% против 62,5% у Opus 4.7 и 53,8% у Sonnet 4.6, а базовая Qwen3-14B без дообучения — 41,5%. Она выдавала корректный JSON, но рынка не знала.

Что известно по теме: что сработало на практике?

Самый поучительный пункт — данные. Для тревог собрали всего 684 проверенных решения на сгенерированных сценариях, а затем большая модель перефразировала текст, не меняя решение, метки и числа. Из 2 218 вариантов проверку прошли 1 838, и вышло 2 522 примера. Перефразы обошлись примерно в $3,72. Результат: macro-F1 вырос с 58,4% на исходных 684 строках до 91,1%.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…