Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAPI / Produto · Pronto p/ usoAWS Machine Learning Blog→ original

Qwen3-14B da Exowatt supera o Claude Opus 4.7: 97,5% contra 62,5% e 49 vezes mais barato

A Exowatt, que constrói usinas solares para data centers, fez o fine-tuning de um modelo pequeno, o Qwen3-14B, com dados próprios, em vez de chamar uma API cara. Na classificação de eventos do mercado de energia (por exemplo, um salto de preço), pela métrica macro-F1, que tira a média da qualidade entre todos os tipos de evento, ele chega a 97,5%, contra 62,5% do Claude Opus 4.7. Mil respostas custam $0,60 contra $29,26, ou seja, 49 vezes menos. Para uma tarefa estreita e repetitiva, o modelo pequeno compensa mais do que o carro-chefe.

Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Qwen3-14B da Exowatt supera o Claude Opus 4.7: 97,5% contra 62,5% e 49 vezes mais barato
Fonte: AWS Machine Learning Blog. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalAWS Machine Learning Blog ↗
Editor-chefe
Dado-chave #1A versão Qwen3-1.7B (1,71 GiB) roda em uma CPU comum, sem internet
Dado-chave #2O treinamento do 1,7B levou 32 minutos e $20–25, e o do 14B, cerca de 8,5 horas
Dado-chave #3684 decisões validadas viraram 2 522 exemplos por meio de paráfrases

A Exowatt constrói usinas solares modulares com armazenamento térmico e alimenta data centers diretamente, contornando as filas de vários anos para conexão à rede elétrica. Em cada unidade, alarmes surgem 24 horas por dia, e ainda é preciso decidir quanta energia armazenada manter e quando liberá-la. Não dá para colocar um operador em cada site, e enviar cada decisão para a API de um modelo de ponta como o Claude Opus 4.

7 sai caro demais. Por isso, a empresa fez o fine-tuning, ou seja, o treinamento adicional de modelos abertos prontos com exemplos próprios, de dois modelos Qwen3 pequenos. A versão de 14 bilhões de parâmetros identifica eventos do mercado de energia com macro-F1 de 97,5%, contra 62,5% do Opus 4.

7. Essa métrica tira a média da qualidade entre todos os tipos de evento, de modo que casos raros pesam tanto quanto os frequentes. Mil respostas custam $0,60 em vez de $29,26, cerca de 49 vezes menos.

Os detalhes foram publicados no blog AWS Machine Learning.

Duas tarefas, dois modelos

A primeira tarefa é a análise de alarmes no site. O modelo recebe o alerta junto com a telemetria e devolve um entre poucos diagnósticos possíveis (sistema offline, nó operando com potência reduzida, divergência entre sensores), com referências aos dados. Se há poucas evidências, ele se recusa a responder, com honestidade. Isso precisa rodar localmente, muitas vezes sem GPU e sem internet, e por isso a escolha recaiu sobre o Qwen3-1.7B. Depois da quantização para 8 bits (compressão dos pesos), o modelo ocupa cerca de 1,71 GiB e roda via llama.cpp em um pod Kubernetes, em um servidor comum com CPU instalado no site.

A segunda tarefa é a análise do mercado de energia. O Qwen3-14B lê um pacote de dados de seis horas (cerca de 90 linhas com preços em tempo real, previsões para o dia seguinte e avisos da rede) e, em quatro segundos, identifica um entre cinco eventos, como um salto de preço. Cada afirmação é vinculada a uma linha específica dos dados. O modelo foi hospedado no Amazon Bedrock por meio do Custom Model Import: não há ociosidade, e os $6,86 por hora só são cobrados enquanto o modelo está ativo.

Os números: precisão e preço

Na análise de alarmes, o Qwen3-1.7B ajustado atingiu 91,1% de macro-F1. O Claude Sonnet 4.6 fez 69,8%, o Opus 4.7, 68%, e o Haiku 4.5, 51,9%. O 1,7B original nem sequer passava na verificação de resposta válida. Os modelos externos custam de $4,70 a $22 por 1000 decisões, enquanto na CPU própria da Exowatt não há cobrança por requisição.

No mercado de energia, o Qwen3-14B marcou 97,5%, contra 62,5% do Opus 4.7 e 53,8% do Sonnet 4.6, enquanto o Qwen3-14B base, sem fine-tuning, ficou em 41,5%. Ele gerava JSON correto, mas não conhecia o mercado. Mil respostas do modelo ajustado custam $0,60; as do Opus, $29,26. Em um segundo conjunto de teste, posterior, o modelo manteve 96,8%.

O que funcionou na prática

O ponto mais instrutivo está nos dados. Para os alarmes, foram reunidas apenas 684 decisões validadas, baseadas em cenários gerados; depois, um modelo maior parafraseou o texto sem alterar a decisão, os rótulos e os números. Das 2 218 variantes, 1 838 passaram na verificação, o que resultou em 2 522 exemplos. As paráfrases custaram cerca de $3,72. O resultado: o macro-F1 subiu de 58,4% nas 684 linhas originais para 91,1%. Uma rodada de controle com as mesmas 684 linhas em 11 épocas chegou a apenas 87,9%, ou seja, a variedade de formulações ajudou mais do que repetir os mesmos exemplos.

Para o mercado, foram usados cinco anos de dados públicos da ERCOT (operadora da rede do Texas), cerca de 163 milhões de linhas. Delas, 25 000 exemplos foram rotulados por regras, e a parte de treinamento foi ampliada para 86 281 linhas com paráfrases do Claude Sonnet 4.6. Três paráfrases por resposta elevaram o macro-F1 de 95,0% para 97,5%. O treinamento durou uma época de LoRA (rank 16, alpha 32), cerca de 8,5 horas. Ao todo, em seis dias, a equipe executou 23 jobs (cerca de 155 horas de treinamento), com até quatro em paralelo. O modo serverless do SageMaker aloca a capacidade sozinho, então não foi preciso escolher o tipo de GPU nem esperar por sua liberação.

A segunda descoberta é a proteção contra invenções. Os modelos devolvem JSON estrito, e qualquer afirmação cuja referência à fonte, campo ou valor não coincida com os dados de entrada é descartada antes de chegar ao operador. O modelo de borda, quando faltam dados, se abstém de responder. Por enquanto, o sistema roda em modo sombra, em uma cópia do site na nuvem.

Limitações e conclusão

Este é um blog da AWS sobre um serviço da AWS, então convém lê-lo com ressalvas. A comparação usa conjuntos de teste da própria Exowatt, parte deles montada com cenários gerados. Os modelos de ponta foram avaliados apenas com prompts, sem fine-tuning para a tarefa. Os preços do Bedrock vêm da tabela oficial, e a operação em CPU é tratada como gratuita, sem contar hardware e suporte. A vitória de um modelo estreito não significa que ele seja mais forte em geral: fora da sua tarefa, ele perde.

Para quem trabalha na prática, a conclusão é esta. Se a tarefa se repete o tempo todo, o formato da resposta é fixo e há pelo menos algumas centenas de exemplos validados, vale testar primeiro um modelo pequeno com fine-tuning. O mais valioso da história é o pipeline: dados brutos, conjunto validado, treinamento, avaliação e empacotamento do modelo. A Exowatt agora percorre esse caminho em dias, e não em meses, e pretende repeti-lo para novos tipos de equipamento.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Duas tarefas, dois modelos?

A primeira tarefa é a análise de alarmes no site. O modelo recebe o alerta junto com a telemetria e devolve um entre poucos diagnósticos possíveis (sistema offline, nó operando com potência reduzida, divergência entre sensores), com referências aos dados. Se há poucas evidências, ele se recusa a responder, com honestidade. Isso precisa rodar localmente, muitas vezes sem GPU e sem internet, e por isso a escolha recaiu sobre o Qwen3-1.7B.

O que se sabe sobre Os números: precisão e preço?

Na análise de alarmes, o Qwen3-1.7B ajustado atingiu 91,1% de macro-F1. O Claude Sonnet 4.6 fez 69,8%, o Opus 4.7, 68%, e o Haiku 4.5, 51,9%. O 1,7B original nem sequer passava na verificação de resposta válida. Os modelos externos custam de $4,70 a $22 por 1000 decisões, enquanto na CPU própria da Exowatt não há cobrança por requisição. No mercado de energia, o Qwen3-14B marcou 97,5%, contra 62,5% do Opus 4.7 e 53,8% do Sonnet 4.6, enquanto o Qwen3-14B base, sem fine-tuning, ficou em 41,5%.

O que funcionou na prática?

O ponto mais instrutivo está nos dados. Para os alarmes, foram reunidas apenas 684 decisões validadas, baseadas em cenários gerados; depois, um modelo maior parafraseou o texto sem alterar a decisão, os rótulos e os números. Das 2 218 variantes, 1 838 passaram na verificação, o que resultou em 2 522 exemplos. As paráfrases custaram cerca de $3,72. O resultado: o macro-F1 subiu de 58,4% nas 684 linhas originais para 91,1%.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…