Qwen3-14B ajustada por Exowatt supera a Claude Opus 4.7: 97,5% frente a 62,5% y 49 veces más barata
Exowatt, que construye plantas solares para centros de datos, ajustó un modelo pequeño, Qwen3-14B, con sus propios datos en lugar de llamar a una API cara. En la clasificación de eventos del mercado eléctrico (por ejemplo, un salto de precio), medida con macro-F1, que promedia la calidad entre todos los tipos de evento, el modelo alcanza 97,5%, mientras que Claude Opus 4.7 obtiene 62,5%. Mil respuestas cuestan $0,60 frente a $29,26, es decir, 49 veces menos. Para una tarea estrecha y repetitiva, el modelo pequeño resulta más rentable que el buque insignia.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Exowatt construye plantas solares modulares con almacenamiento térmico y las conecta directamente a centros de datos, evitando las largas colas de conexión a la red. En cada emplazamiento surgen alarmas las 24 horas, y además hay que decidir cuánta energía almacenada mantener y cuándo liberarla. No se puede poner un operador en cada instalación, y enviar cada decisión a la API de un buque insignia como Claude Opus 4.
7 resulta demasiado caro. Por eso la empresa ajustó, es decir, reentrenó con sus propios ejemplos, dos modelos abiertos y pequeños de Qwen3. La versión de 14.
000 millones de parámetros identifica eventos del mercado eléctrico con una puntuación de macro-F1 de 97,5%, frente al 62,5% de Opus 4.7. Esta métrica promedia la calidad entre todos los tipos de evento, de modo que los casos raros pesan lo mismo que los frecuentes.
Mil respuestas cuestan $0,60 en lugar de $29,26, unas 49 veces menos. Los detalles se publicaron en el blog de AWS Machine Learning.
Dos tareas, dos modelos
La primera tarea es el análisis de alarmas en el emplazamiento. El modelo recibe una alerta junto con su telemetría y devuelve uno de un pequeño conjunto de diagnósticos (sistema fuera de línea, nodo funcionando con potencia reducida, discrepancia entre sensores), con referencias a los datos. Si la evidencia es escasa, se abstiene de responder. Debe funcionar en el lugar, a menudo sin GPU y sin internet, por lo que se eligió Qwen3-1.7B. Tras cuantizarlo a 8 bits (compresión de los pesos), ocupa unos 1,71 GiB y se ejecuta con llama.cpp en un pod de Kubernetes sobre un servidor CPU común del emplazamiento.
La segunda tarea es el análisis del mercado eléctrico. El modelo Qwen3-14B lee un paquete de datos de seis horas (unas 90 filas de precios en tiempo real, previsiones a un día vista y avisos de la red) y en cuatro segundos determina uno de cinco eventos, por ejemplo un salto de precio. Cada afirmación queda vinculada a una fila de datos concreta. El modelo se desplegó en Amazon Bedrock mediante Custom Model Import: no hay tiempo de inactividad, y los $6,86 por hora solo se cobran mientras el modelo está activo.
Cifras: precisión y coste
En el análisis de alarmas, el Qwen3-1.7B ajustado alcanzó 91,1% de macro-F1. Claude Sonnet 4.6 logró 69,8%, Opus 4.7 68% y Haiku 4.5 51,9%. El 1.7B original ni siquiera superaba la validación de respuesta correcta. Los modelos externos cuestan entre $4,70 y $22 por cada 1.000 decisiones, mientras que en la CPU propia de Exowatt no hay coste por consulta.
En el mercado eléctrico, el Qwen3-14B obtuvo 97,5% frente al 62,5% de Opus 4.7 y el 53,8% de Sonnet 4.6, y el Qwen3-14B base, sin ajuste, llegó a 41,5%. Producía JSON correcto, pero no conocía el mercado. Mil respuestas con el modelo ajustado cuestan $0,60, y con Opus, $29,26. En un segundo conjunto de prueba, posterior, el modelo mantuvo 96,8%.
Lo que funcionó en la práctica
El punto más instructivo fueron los datos. Para las alarmas se reunieron solo 684 decisiones verificadas sobre escenarios generados; después, un modelo grande parafraseó el texto sin cambiar la decisión, las etiquetas ni los números. De 2.218 variantes, pasaron la verificación 1.838, lo que dio 2.522 ejemplos. Los parafraseos costaron unos $3,72. El resultado: el macro-F1 subió del 58,4% con las 684 filas originales al 91,1%. Una ejecución de control sobre esas mismas 684 filas, con 11 épocas, solo llegó a 87,9%, así que la variedad de formulaciones ayudó más que repetir los mismos ejemplos.
Para el mercado se usaron cinco años de datos públicos de ERCOT (el operador de la red de Texas), unos 163 millones de filas. De ellas, reglas etiquetaron 25.000 ejemplos, y la parte de entrenamiento se amplió a 86.
281 filas con parafraseos de Claude Sonnet 4.6. Tres parafraseos por respuesta elevaron el macro-F1 del 95,0% al 97,5%.
El entrenamiento fue de una época de LoRA (rango 16, alfa 32) y tomó unas 8,5 horas. En total, en seis días el equipo lanzó 23 tareas (unas 155 horas de entrenamiento), hasta cuatro a la vez. El modo serverless de SageMaker asigna la capacidad por sí mismo, así que no hubo que elegir el tipo de GPU ni esperar a que quedara libre.
El segundo hallazgo fue la protección frente a invenciones. Los modelos devuelven JSON estricto, y cualquier afirmación cuya referencia de origen, campo o valor no coincida con los datos de entrada se descarta antes de llegar al operador. El modelo en el borde se abstiene cuando faltan datos. Por ahora, el sistema se ha probado en modo sombra sobre una copia en la nube del emplazamiento.
Limitaciones y conclusión
Es un blog de AWS sobre un servicio de AWS, así que conviene leerlo con cautela. La comparación se hace sobre conjuntos de prueba propios de Exowatt, parte de ellos construidos con escenarios generados. Los modelos insignia se evaluaron con prompts, sin ajuste a la tarea. Los precios de Bedrock son los de la lista oficial, y el funcionamiento en CPU se considera gratuito, sin contar el hardware ni el soporte. Que un modelo estrecho gane en su tarea no significa que sea más capaz en general: fuera de su ámbito, perderá.
Para los profesionales, la conclusión es esta: si la tarea se repite constantemente, el formato de respuesta es fijo y existen al menos unos cientos de ejemplos verificados, conviene evaluar primero un modelo pequeño ajustado. Lo más valioso de la historia es el pipeline: datos brutos, conjunto verificado, entrenamiento, evaluación y empaquetado del modelo. Exowatt recorre ese camino en días y no en meses, y planea repetirlo para nuevos tipos de dispositivos.
- 21 nov 2026Las vacantes de FDE se multiplicaron por 4,6 en un año: qué hace un ingeniero en el cliente
- 21 nov 2026Anthropic recorta un 20 % el precio de Claude Fable 5.2 y, en una prueba de código, queda casi a la altura de Opus 5.5
- 21 nov 2026Dreamteam recauda 53 millones de dólares para un CRM que se alimenta solo a partir del correo y las llamadas
- 21 nov 2026La IA Claude Opus 5.5 completa el terror Dimension 9 a partir de 15 habitaciones del autor
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Dos tareas, dos modelos?
La primera tarea es el análisis de alarmas en el emplazamiento. El modelo recibe una alerta junto con su telemetría y devuelve uno de un pequeño conjunto de diagnósticos (sistema fuera de línea, nodo funcionando con potencia reducida, discrepancia entre sensores), con referencias a los datos. Si la evidencia es escasa, se abstiene de responder. Debe funcionar en el lugar, a menudo sin GPU y sin internet, por lo que se eligió Qwen3-1.7B.
¿Qué se sabe sobre Cifras: precisión y coste?
En el análisis de alarmas, el Qwen3-1.7B ajustado alcanzó 91,1% de macro-F1. Claude Sonnet 4.6 logró 69,8%, Opus 4.7 68% y Haiku 4.5 51,9%. El 1.7B original ni siquiera superaba la validación de respuesta correcta. Los modelos externos cuestan entre $4,70 y $22 por cada 1.000 decisiones, mientras que en la CPU propia de Exowatt no hay coste por consulta. En el mercado eléctrico, el Qwen3-14B obtuvo 97,5% frente al 62,5% de Opus 4.7 y el 53,8% de Sonnet 4.6, y el Qwen3-14B base, sin ajuste, llegó a 41,5%.
¿Qué se sabe sobre Lo que funcionó en la práctica?
El punto más instructivo fueron los datos. Para las alarmas se reunieron solo 684 decisiones verificadas sobre escenarios generados; después, un modelo grande parafraseó el texto sin cambiar la decisión, las etiquetas ni los números. De 2.218 variantes, pasaron la verificación 1.838, lo que dio 2.522 ejemplos. Los parafraseos costaron unos $3,72. El resultado: el macro-F1 subió del 58,4% con las 684 filas originales al 91,1%.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.