Qwen3-14B da Exowatt supera o Claude Opus 4.7: 97,5% contra 62,5% e 49 vezes mais barato
A Exowatt, que constrói usinas solares para data centers, fez o fine-tuning de um modelo pequeno, o Qwen3-14B, com dados próprios, em vez de chamar uma API cara. Na classificação de eventos do mercado de energia (por exemplo, um salto de preço), pela métrica macro-F1, que tira a média da qualidade entre todos os tipos de evento, ele chega a 97,5%, contra 62,5% do Claude Opus 4.7. Mil respostas custam $0,60 contra $29,26, ou seja, 49 vezes menos. Para uma tarefa estreita e repetitiva, o modelo pequeno compensa mais do que o carro-chefe.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
A Exowatt constrói usinas solares modulares com armazenamento térmico e alimenta data centers diretamente, contornando as filas de vários anos para conexão à rede elétrica. Em cada unidade, alarmes surgem 24 horas por dia, e ainda é preciso decidir quanta energia armazenada manter e quando liberá-la. Não dá para colocar um operador em cada site, e enviar cada decisão para a API de um modelo de ponta como o Claude Opus 4.
7 sai caro demais. Por isso, a empresa fez o fine-tuning, ou seja, o treinamento adicional de modelos abertos prontos com exemplos próprios, de dois modelos Qwen3 pequenos. A versão de 14 bilhões de parâmetros identifica eventos do mercado de energia com macro-F1 de 97,5%, contra 62,5% do Opus 4.
7. Essa métrica tira a média da qualidade entre todos os tipos de evento, de modo que casos raros pesam tanto quanto os frequentes. Mil respostas custam $0,60 em vez de $29,26, cerca de 49 vezes menos.
Os detalhes foram publicados no blog AWS Machine Learning.
Duas tarefas, dois modelos
A primeira tarefa é a análise de alarmes no site. O modelo recebe o alerta junto com a telemetria e devolve um entre poucos diagnósticos possíveis (sistema offline, nó operando com potência reduzida, divergência entre sensores), com referências aos dados. Se há poucas evidências, ele se recusa a responder, com honestidade. Isso precisa rodar localmente, muitas vezes sem GPU e sem internet, e por isso a escolha recaiu sobre o Qwen3-1.7B. Depois da quantização para 8 bits (compressão dos pesos), o modelo ocupa cerca de 1,71 GiB e roda via llama.cpp em um pod Kubernetes, em um servidor comum com CPU instalado no site.
A segunda tarefa é a análise do mercado de energia. O Qwen3-14B lê um pacote de dados de seis horas (cerca de 90 linhas com preços em tempo real, previsões para o dia seguinte e avisos da rede) e, em quatro segundos, identifica um entre cinco eventos, como um salto de preço. Cada afirmação é vinculada a uma linha específica dos dados. O modelo foi hospedado no Amazon Bedrock por meio do Custom Model Import: não há ociosidade, e os $6,86 por hora só são cobrados enquanto o modelo está ativo.
Os números: precisão e preço
Na análise de alarmes, o Qwen3-1.7B ajustado atingiu 91,1% de macro-F1. O Claude Sonnet 4.6 fez 69,8%, o Opus 4.7, 68%, e o Haiku 4.5, 51,9%. O 1,7B original nem sequer passava na verificação de resposta válida. Os modelos externos custam de $4,70 a $22 por 1000 decisões, enquanto na CPU própria da Exowatt não há cobrança por requisição.
No mercado de energia, o Qwen3-14B marcou 97,5%, contra 62,5% do Opus 4.7 e 53,8% do Sonnet 4.6, enquanto o Qwen3-14B base, sem fine-tuning, ficou em 41,5%. Ele gerava JSON correto, mas não conhecia o mercado. Mil respostas do modelo ajustado custam $0,60; as do Opus, $29,26. Em um segundo conjunto de teste, posterior, o modelo manteve 96,8%.
O que funcionou na prática
O ponto mais instrutivo está nos dados. Para os alarmes, foram reunidas apenas 684 decisões validadas, baseadas em cenários gerados; depois, um modelo maior parafraseou o texto sem alterar a decisão, os rótulos e os números. Das 2 218 variantes, 1 838 passaram na verificação, o que resultou em 2 522 exemplos. As paráfrases custaram cerca de $3,72. O resultado: o macro-F1 subiu de 58,4% nas 684 linhas originais para 91,1%. Uma rodada de controle com as mesmas 684 linhas em 11 épocas chegou a apenas 87,9%, ou seja, a variedade de formulações ajudou mais do que repetir os mesmos exemplos.
Para o mercado, foram usados cinco anos de dados públicos da ERCOT (operadora da rede do Texas), cerca de 163 milhões de linhas. Delas, 25 000 exemplos foram rotulados por regras, e a parte de treinamento foi ampliada para 86 281 linhas com paráfrases do Claude Sonnet 4.6. Três paráfrases por resposta elevaram o macro-F1 de 95,0% para 97,5%. O treinamento durou uma época de LoRA (rank 16, alpha 32), cerca de 8,5 horas. Ao todo, em seis dias, a equipe executou 23 jobs (cerca de 155 horas de treinamento), com até quatro em paralelo. O modo serverless do SageMaker aloca a capacidade sozinho, então não foi preciso escolher o tipo de GPU nem esperar por sua liberação.
A segunda descoberta é a proteção contra invenções. Os modelos devolvem JSON estrito, e qualquer afirmação cuja referência à fonte, campo ou valor não coincida com os dados de entrada é descartada antes de chegar ao operador. O modelo de borda, quando faltam dados, se abstém de responder. Por enquanto, o sistema roda em modo sombra, em uma cópia do site na nuvem.
Limitações e conclusão
Este é um blog da AWS sobre um serviço da AWS, então convém lê-lo com ressalvas. A comparação usa conjuntos de teste da própria Exowatt, parte deles montada com cenários gerados. Os modelos de ponta foram avaliados apenas com prompts, sem fine-tuning para a tarefa. Os preços do Bedrock vêm da tabela oficial, e a operação em CPU é tratada como gratuita, sem contar hardware e suporte. A vitória de um modelo estreito não significa que ele seja mais forte em geral: fora da sua tarefa, ele perde.
Para quem trabalha na prática, a conclusão é esta. Se a tarefa se repete o tempo todo, o formato da resposta é fixo e há pelo menos algumas centenas de exemplos validados, vale testar primeiro um modelo pequeno com fine-tuning. O mais valioso da história é o pipeline: dados brutos, conjunto validado, treinamento, avaliação e empacotamento do modelo. A Exowatt agora percorre esse caminho em dias, e não em meses, e pretende repeti-lo para novos tipos de equipamento.
- 21 de nov. de 2026As vagas de FDE cresceram 4,6 vezes em um ano: o que faz o engenheiro no cliente
- 21 de nov. de 2026Anthropic cortou em 20% o preço do Claude Fable 5.2, e no teste de código ele quase empata com o Opus 5.5
- 21 de nov. de 2026Dreamteam capta US$ 53 milhões para um CRM que se preenche sozinho a partir de e-mails e ligações
- 21 de nov. de 2026Claude Opus 5.5 completa o horror Dimension 9 a partir de 15 salas criadas pelo autor
Perguntas frequentes sobre a notícia
O que se sabe sobre Duas tarefas, dois modelos?
A primeira tarefa é a análise de alarmes no site. O modelo recebe o alerta junto com a telemetria e devolve um entre poucos diagnósticos possíveis (sistema offline, nó operando com potência reduzida, divergência entre sensores), com referências aos dados. Se há poucas evidências, ele se recusa a responder, com honestidade. Isso precisa rodar localmente, muitas vezes sem GPU e sem internet, e por isso a escolha recaiu sobre o Qwen3-1.7B.
O que se sabe sobre Os números: precisão e preço?
Na análise de alarmes, o Qwen3-1.7B ajustado atingiu 91,1% de macro-F1. O Claude Sonnet 4.6 fez 69,8%, o Opus 4.7, 68%, e o Haiku 4.5, 51,9%. O 1,7B original nem sequer passava na verificação de resposta válida. Os modelos externos custam de $4,70 a $22 por 1000 decisões, enquanto na CPU própria da Exowatt não há cobrança por requisição. No mercado de energia, o Qwen3-14B marcou 97,5%, contra 62,5% do Opus 4.7 e 53,8% do Sonnet 4.6, enquanto o Qwen3-14B base, sem fine-tuning, ficou em 41,5%.
O que funcionou na prática?
O ponto mais instrutivo está nos dados. Para os alarmes, foram reunidas apenas 684 decisões validadas, baseadas em cenários gerados; depois, um modelo maior parafraseou o texto sem alterar a decisão, os rótulos e os números. Das 2 218 variantes, 1 838 passaram na verificação, o que resultou em 2 522 exemplos. As paráfrases custaram cerca de $3,72. O resultado: o macro-F1 subiu de 58,4% nas 684 linhas originais para 91,1%.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.