Малая Qwen3-14B от Exowatt точнее Claude Opus 4.7: 97,5% против 62,5% и в 49 раз дешевле
Exowatt, которая строит солнечные станции для дата-центров, дообучила малую модель Qwen3-14B на своих данных вместо вызова дорогого API. В классификации событий энергорынка (например, скачка цены) по метрике macro-F1, усредняющей качество по всем типам событий, она набирает 97,5%, а Claude Opus 4.7 — 62,5%. Тысяча ответов стоит $0,60 против $29,26, то есть в 49 раз дешевле. Для узкой повторяющейся задачи малая модель выгоднее флагмана.
AI-обработка оригинала AWS Machine Learning Blog; редакция Hamidun News
Exowatt строит модульные солнечные станции с тепловым накопителем и питает ими дата-центры напрямую, в обход многолетних очередей на подключение к сети. На каждой площадке круглосуточно появляются аварийные сигналы, а ещё нужно решать, сколько запасённой энергии держать и когда отдавать. Оператора на каждый объект не посадишь, а отправлять каждое решение в API флагмана вроде Claude Opus 4.
7 слишком дорого. Поэтому компания дообучила, то есть доучила готовые открытые модели на своих примерах, две небольшие Qwen3. Версия на 14 млрд параметров определяет события энергорынка с оценкой macro-F1 97,5% против 62,5% у Opus 4.
7. Эта метрика усредняет качество по всем типам событий, так что редкие случаи весят столько же, сколько частые. Тысяча ответов обходится в $0,60 вместо $29,26, то есть примерно в 49 раз дешевле.
Детали опубликованы в блоге AWS Machine Learning.
Две задачи, две модели
Первая задача — разбор аварийных сигналов на площадке. Модель получает тревогу вместе с телеметрией и возвращает один из небольшого набора диагнозов (система offline, узел работает на сниженной мощности, расхождение датчиков) со ссылками на данные. Если доказательств мало, она честно отказывается отвечать. Работать это должно на месте, часто без GPU и без интернета, поэтому выбрали Qwen3-1.7B. После квантизации до 8 бит (сжатия весов) модель занимает около 1,71 ГиБ и запускается через llama.cpp в Kubernetes-поде на обычном CPU-сервере объекта.
Вторая задача — анализ энергорынка. Модель Qwen3-14B читает шестичасовой пакет данных (около 90 строк цен в реальном времени, прогнозов на сутки вперёд и уведомлений сети) и за четыре секунды определяет одно из пяти событий, например скачок цены. Каждое утверждение привязано к конкретной строке данных. Модель разместили в Amazon Bedrock через Custom Model Import: простоя нет, а $6,86 в час начисляются только пока модель активна.
Цифры: точность и цена
На разборе тревог дообученная Qwen3-1.7B показала 91,1% macro-F1. Claude Sonnet 4.6 дал 69,8%, Opus 4.7 — 68%, Haiku 4.5 — 51,9%. Исходная 1,7B вообще не проходила проверку на валидный ответ. Внешние модели стоят $4,70–22 за 1000 решений, а на своём CPU у Exowatt нет платы за запрос.
На энергорынке Qwen3-14B набрала 97,5% против 62,5% у Opus 4.7 и 53,8% у Sonnet 4.6, а базовая Qwen3-14B без дообучения — 41,5%. Она выдавала корректный JSON, но рынка не знала. Тысяча ответов у дообученной модели стоит $0,60, у Opus — $29,26. На втором, более позднем тестовом наборе модель удержала 96,8%.
Что сработало на практике
Самый поучительный пункт — данные. Для тревог собрали всего 684 проверенных решения на сгенерированных сценариях, а затем большая модель перефразировала текст, не меняя решение, метки и числа. Из 2 218 вариантов проверку прошли 1 838, и вышло 2 522 примера. Перефразы обошлись примерно в $3,72. Результат: macro-F1 вырос с 58,4% на исходных 684 строках до 91,1%. Контрольный прогон на тех же 684 строках в 11 эпох дал лишь 87,9%, так что разнообразие формулировок помогло сильнее, чем повторение одних и тех же примеров.
Для рынка использовали пять лет публичных данных ERCOT (оператора сети Техаса), около 163 млн строк. Из них правилами разметили 25 000 примеров, а обучающую часть расширили до 86 281 строки перефразами Claude Sonnet 4.6. Три перефраза на ответ подняли macro-F1 с 95,0% до 97,5%. Обучение шло одну эпоху LoRA (rank 16, alpha 32) около 8,5 часа. Всего за шесть дней команда запустила 23 задачи (около 155 часов обучения), причём до четырёх одновременно. Serverless-режим SageMaker сам выделяет мощности, поэтому не пришлось выбирать тип GPU и ждать его освобождения.
Вторая находка — защита от выдумок. Модели возвращают строгий JSON, и любое утверждение, у которого ссылка на источник, поле или значение не совпадает с входными данными, отбрасывается до того, как дойдёт до оператора. Edge-модель при нехватке данных воздерживается от ответа. Пока систему гоняли в теневом режиме на облачной копии площадки.
Ограничения и вывод
Это блог AWS о сервисе AWS, поэтому читать его стоит с поправкой. Сравнение идёт на собственных тестовых наборах Exowatt, часть которых собрана на сгенерированных сценариях. Флагманские модели проверяли промптами, без дообучения под задачу. Цены Bedrock взяты по прайс-листу, а работа на CPU считается бесплатной без учёта железа и поддержки. Победа узкой модели не означает, что она сильнее в целом: вне своей задачи она проиграет.
Для практиков вывод такой. Если задача повторяется постоянно, формат ответа фиксирован и есть хотя бы несколько сотен проверенных примеров, сначала стоит проверить дообученную малую модель. Самое ценное в истории — конвейер: сырые данные, проверенный набор, обучение, оценка и упаковка модели. Exowatt теперь проходит этот путь за дни, а не за месяцы, и собирается повторять его для новых типов устройств.
- 21 нояб. 2026 г.Вакансий FDE за год стало в 4,6 раза больше: что делает инженер у заказчика
- 21 нояб. 2026 г.Anthropic снизила цену Claude Fable 5.2 на 20%, а в тесте на код она почти равна Opus 5.5
- 21 нояб. 2026 г.Dreamteam привлёк $53M на CRM, которая сама заполняется из почты и звонков
- 21 нояб. 2026 г.Нейросеть Claude Opus 5.5 достраивает хоррор Dimension 9 из 15 комнат автора
Вопросы и ответы по материалу
Что известно по теме: две задачи, две модели?
Первая задача — разбор аварийных сигналов на площадке. Модель получает тревогу вместе с телеметрией и возвращает один из небольшого набора диагнозов (система offline, узел работает на сниженной мощности, расхождение датчиков) со ссылками на данные. Если доказательств мало, она честно отказывается отвечать. Работать это должно на месте, часто без GPU и без интернета, поэтому выбрали Qwen3-1.7B.
Что известно по теме: цифры: точность и цена?
На разборе тревог дообученная Qwen3-1.7B показала 91,1% macro-F1. Claude Sonnet 4.6 дал 69,8%, Opus 4.7 — 68%, Haiku 4.5 — 51,9%. Исходная 1,7B вообще не проходила проверку на валидный ответ. Внешние модели стоят $4,70–22 за 1000 решений, а на своём CPU у Exowatt нет платы за запрос. На энергорынке Qwen3-14B набрала 97,5% против 62,5% у Opus 4.7 и 53,8% у Sonnet 4.6, а базовая Qwen3-14B без дообучения — 41,5%. Она выдавала корректный JSON, но рынка не знала.
Что известно по теме: что сработало на практике?
Самый поучительный пункт — данные. Для тревог собрали всего 684 проверенных решения на сгенерированных сценариях, а затем большая модель перефразировала текст, не меняя решение, метки и числа. Из 2 218 вариантов проверку прошли 1 838, и вышло 2 522 примера. Перефразы обошлись примерно в $3,72. Результат: macro-F1 вырос с 58,4% на исходных 684 строках до 91,1%.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.