Intensivo Gratis 21–22.11Intensivo gratuito de 2 días en Vibecoding (21–22 nov, 16:00 MSK) · Cohorte 3 inicia 23.11Registrarse gratis →Cohorte 3 (23.11)
LanzamientoAnálisis · En radarHabr AI→ original

Qwen3-0.6B afinada en un Mac mini: los errores en las respuestas bajaron de 9 a 3 de cada 30

La minúscula Qwen3-0.6B responde preguntas sobre un blog directamente en el navegador, pero antes inventaba detalles que no aparecían en los fragmentos recuperados. Tras afinarla en un Mac mini M4, en 1 hora y 20 minutos, las respuestas erróneas en 30 preguntas bajaron de 9 a 3, y las correctas quedaron en 16 frente a 17. En las 15 preguntas fuera del tema del blog, el modelo se negó con honestidad a responder. Para un modelo pequeño es mejor enseñarle respuestas breves basadas en el texto que resúmenes.

Procesado por IA desde Habr AI; editado por Hamidun News
Qwen3-0.6B afinada en un Mac mini: los errores en las respuestas bajaron de 9 a 3 de cada 30
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Entrenamiento4500 ejemplos generados por Claude Opus, una época, LoRA
La versión v1 empeoró8 respuestas correctas de 30 en lugar de 17
Dato clave #3El error en los datos de validación bajaba, mientras las respuestas correctas eran: 18, 11, 9

Imagine una búsqueda en su blog o en su documentación: el sistema encuentra cuatro fragmentos relevantes y un modelo de lenguaje pequeño, directamente en el navegador, debe responder brevemente a partir de ellos. Suena práctico: no hace falta servidor ni pagar por tokens. Pero el modelo de 0,6 mil millones de parámetros (es Qwen3-0.

6B) suele inventar detalles que no aparecen en los fragmentos. El desarrollador quiso comprobar si el afinado podía corregirlo. El resultado: en 30 preguntas cuya respuesta sí está en el blog, las respuestas erróneas pasaron de 9 a 3.

Las respuestas acordes con la fuente quedaron en 16, frente a 17 del modelo original, y en las 15 preguntas fuera del tema del blog el modelo se negó a responder. Lo más útil de la historia es cómo llegó el autor hasta aquí: de cuatro intentos, tres fracasaron.

Cómo funciona el experimento

El modelo recibe un prompt de sistema breve, cuatro fragmentos numerados obtenidos mediante búsqueda semántica y una pregunta. Debe responder en no más de dos oraciones y basándose solo en esos fragmentos. Si la respuesta no aparece en ellos, debe indicar que el blog probablemente no cubre ese tema.

El conjunto de evaluación constaba de 45 preguntas: 30 con respuesta en el blog y 15 sin ella. Entrenar el modelo con las entradas del propio autor habría sido hacer trampa, además de que solo son 16. Por eso utilizó 2193 documentos técnicos con licencias abiertas: el blog de Go, el blog de Rust, las RFC de Rust y las PEP de Python. Los documentos se dividieron en fragmentos y se generaron embeddings de la misma forma que en el sitio, para que el modelo se acostumbrara al ruido real de la búsqueda. A veces la respuesta está en el primer fragmento, otras en el cuarto, y otras aparece junto a un texto casi idéntico de otra publicación.

Las preguntas sobre los fragmentos las escribió Claude. En unos casos la respuesta estaba entre los resultados; en otros se eliminó el documento de origen para que el modelo aprendiera a negarse. También hubo "casi aciertos": preguntas de un tema cercano sobre las que los fragmentos no responden.

Las respuestas las redactó Claude Opus. Es destilación: un modelo grande muestra el comportamiento y uno pequeño lo reproduce. El entrenamiento se hizo con LoRA y la biblioteca mlx-lm en un Mac mini con chip M4 y 24 GB de memoria: una época de 4500 ejemplos tardó unos 1 hora y 20 minutos.

Cada versión se comparó con el modelo original exportado al mismo formato de 4 bits, de modo que lo único que cambiaba era el afinado.

Tres fracasos en el camino hacia el resultado

La primera versión fue peor que la base: solo 8 respuestas de 30 se apoyaban en la fuente, frente a 17. Eso sí, no inventó respuestas a preguntas fuera de tema. El modelo adoptó dos hábitos de Opus. El primero: añadir salvedades del tipo "no hay detalles en el blog". Aparecían en unos 10 % de las respuestas de entrenamiento, pero el modelo afinado las incluía en casi una de cada tres, a menudo donde la información necesaria sí estaba en los fragmentos. El segundo: meter en la respuesta el mayor número posible de detalles. Así, "king" y "queen", que en el artículo aparecen cerca, se convirtieron en "king" y "bicycle", presentados como si estuvieran próximos.

En la segunda versión se limpiaron las salvedades con un script, pero solo hubo 9 respuestas correctas de 30. Lo más revelador son los puntos de control guardados a un cuarto, a la mitad y al final de la época. El error en los datos de validación (validation loss) bajaba en cada uno, es decir, el modelo copiaba cada vez con más precisión las palabras de Opus. Pero las respuestas correctas sobre las preguntas del blog disminuían: 18, 11 y 9. Un modelo de este tamaño reproduce la forma de una respuesta rica, pero no su contenido, y cuanto mejor la copia, más se confunde.

En la tercera versión no cambiaron las preguntas ni los fragmentos, solo las respuestas: una oración corta con el dato, lo más cercana posible a la formulación de la fuente. Sin combinar hechos de distintos fragmentos y sin comentarios sobre la falta de información. La longitud media de la respuesta bajó de 180 a 123 caracteres.

El resultado: 16 respuestas de 30 coinciden con la fuente (frente a 17; una diferencia de una respuesta en una muestra de este tamaño cae dentro del ruido), y los errores bajaron de 9 a 3. Por ejemplo, ante la pregunta sobre la tarjeta gráfica necesaria para Llama 70B, el modelo base produjo un párrafo de consejos basado en fragmentos sobre embeddings y agentes de IA, mientras que el afinado se negó. El precio de la prudencia: en 11 de las 30 preguntas con respuesta en el blog también afirma que el tema no aparece, frente a 4 casos del modelo base.

Para una página de búsqueda donde los fragmentos se ven bajo la respuesta, es un intercambio razonable: unos segundos extra de lectura valen más que una falsedad segura.

La cuarta versión añadió 1200 preguntas amplias del tipo "¿Qué dice el blog sobre X?" para eliminar las negativas injustificadas. Hubo 13 respuestas correctas de 30, es decir, peor que la tercera.

Qué llevarse a la práctica

  • Un modelo pequeño aprende antes el estilo de los ejemplos que la capacidad de razonar con ellos. Enséñele solo lo que sea capaz de reproducir a partir del contenido.
  • No se guíe por el validation loss. Evalúe los puntos de control con su tarea real.
  • Encargue a los modelos pequeños la extracción de un dato concreto, no la síntesis de varias fuentes.
  • Los datos de entrenamiento generados con descuido producirán un comportamiento distinto del que esperaba.

El autor publicó el modelo, el conjunto de datos y el código en abierto, y cargar el modelo en el navegador ahora requiere menos datos que el original.

También conviene recordar las limitaciones. Treinta preguntas son pocas para sacar conclusiones estadísticas, y la reducción de errores de 9 a 3 no puede considerarse un resultado científico. Las respuestas las evaluó la misma familia de modelos Claude que escribió los ejemplos de entrenamiento, así que el evaluador pudo favorecer un estilo que le resultaba familiar. Si repite el enfoque con su propia documentación, adapte el prompt y la frase de negativa a su dominio y vuelva a generar las respuestas.

Historia

Preguntas frecuentes sobre la noticia

Cómo funciona el experimento?

El modelo recibe un prompt de sistema breve, cuatro fragmentos numerados obtenidos mediante búsqueda semántica y una pregunta. Debe responder en no más de dos oraciones y basándose solo en esos fragmentos. Si la respuesta no aparece en ellos, debe indicar que el blog probablemente no cubre ese tema. El conjunto de evaluación constaba de 45 preguntas: 30 con respuesta en el blog y 15 sin ella. Entrenar el modelo con las entradas del propio autor habría sido hacer trampa, además de que solo son 16.

¿Qué se sabe sobre Tres fracasos en el camino hacia el resultado?

La primera versión fue peor que la base: solo 8 respuestas de 30 se apoyaban en la fuente, frente a 17. Eso sí, no inventó respuestas a preguntas fuera de tema. El modelo adoptó dos hábitos de Opus. El primero: añadir salvedades del tipo "no hay detalles en el blog". Aparecían en unos 10 % de las respuestas de entrenamiento, pero el modelo afinado las incluía en casi una de cada tres, a menudo donde la información necesaria sí estaba en los fragmentos.

¿Qué se sabe sobre Qué llevarse a la práctica?

Un modelo pequeño aprende antes el estilo de los ejemplos que la capacidad de razonar con ellos. Enséñele solo lo que sea capaz de reproducir a partir del contenido. No se guíe por el validation loss. Evalúe los puntos de control con su tarea real. Encargue a los modelos pequeños la extracción de un dato concreto, no la síntesis de varias fuentes. Los datos de entrenamiento generados con descuido producirán un comportamiento distinto del que esperaba.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…