Un agente de IA doméstico recopiló por sí mismo los datos para su LoRA: la prueba de lógica LogiQA subió un 12%

Normalmente, el ajuste con LoRA parte de un dataset ya hecho que alguien recopiló a mano. En esta historia, los datos de entrenamiento los preparó el propio agente local. El autor de una serie de artículos en Habr habla de Vika, una asistente personal que funciona con hardware doméstico.

Durante su uso, Vika acumuló «semillas LoRA»: conclusiones estructuradas extraídas de su propio historial. Imagina que el agente anota: «a este usuario le gustan las respuestas cortas y, antes de escribir código, primero hay que buscar la herramienta adecuada». Antes, esas reglas había que meterlas cada vez en el prompt, a costa de gastar ventana de contexto.

Ahora se convierten en ejemplos de entrenamiento (SFT) y se incorporan a los pesos del modelo. Para quien construye agentes locales, esto permite ahorrar contexto y fijar el comportamiento, y de paso ofrece una lista lista de trampas habituales, desde la escala del adaptador hasta la elección de las tarjetas gráficas.

Qué aportó el ajuste

El autor midió los resultados con benchmarks estándar. El seguimiento de instrucciones (IFEval) subió un 2% y la resolución de problemas lógicos (LogiQA), un 12%. Donde más cambió fue en el comportamiento. Gracias a la corrección y a un «contrato motivacional» (un conjunto de directrices internas que mantienen al agente en el objetivo fijado), el trabajo autónomo llegó a 100 pasos sin deriva del objetivo. La prueba práctica también impresiona: en 73 minutos, el modelo afinado reprogramó todo el sistema y pasó el asistente a un modo de voz STT-TTS (reconocimiento de voz y síntesis de voz).

Hay además un efecto secundario filosófico. El agente conserva el acceso a su biografía, pero entiende que su personalidad cambió tras el SFT. El autor lo llama la paradoja del «Barco de Teseo». Aun así, en una prueba con dibujos, el agente se mantuvo fiel a la filosofía Zen y a la pintura japonesa con distintos modelos y adaptadores.

Cómo no romper el modelo

El recorrido técnico es este: pesos BF16 en formato safetensors, carga en Unsloth en 8 bits, entrenamiento de LoRA en FP32, fusión con el modelo en sus 16 bits originales y recuantización a Q8 GGUF. El mínimo para SFT es 24 GB de memoria de vídeo. Se probaron los cinco primeros modelos densos de la tabla del autor, entre ellos Qwen3.8-27B y Gemma 4 31B.

La lección principal tiene que ver con la escala del adaptador k. Unsloth recomienda un valor de en torno a 2, pero el autor aconseja preparar desde el principio varios modelos con escalas distintas. Con una k alta, el modelo repite de forma fanática las secuencias de entrenamiento y desactiva su propio razonamiento. Con k=1,5, IFEval es del 66%; con k=2,5, solo del 55%. Esto se nota especialmente en 4-bit QLoRA mediante bnb-4bit. Como criterio de un buen resultado, el autor propone un desplazamiento «sutil»: se conserva la esencia de lo aprendido y el modelo elige por sí mismo la forma en que se manifiesta.

LoRA fija bien el estilo, el carácter, el formato de las respuestas y las instrucciones, pero los hechos se memorizan mal. Por ejemplo, no se logró implantar en el modelo su propio nombre sin perder funcionalidad.

Hay una mala noticia para los usuarios de Ollama: ya no se puede conectar allí un adaptador, una posibilidad que se eliminó en septiembre. Los adaptadores intercambiables solo funcionan a través de llama-server. Si se necesita el workflow anterior, el adaptador se fusiona con el modelo (esto no requiere VRAM, pero ocupa mucho espacio en el SSD) y se exporta con llama-export-lora y llama-quantize. En ese caso, la escala del adaptador se puede cambiar sin reentrenar.

Hardware y memoria

En la memoria de vídeo no debe caber solo el modelo. El proyector para multimodalidad, MTP (un modelo borrador para acelerar la generación) y el adaptador LoRA suman entre 4 y 5 GB. Un contexto de 128K añade 16–20 GB en FP16 u 8–10 GB en cuantización Q8. A cambio, MTP acelera de forma notable la generación: con dos RTX 4070, la velocidad pasó de 26,39 a 48,48 tokens por segundo.

Si faltan ranuras, se pueden instalar tres tarjetas gráficas en configuración 8x/8x/4x. Para una sola tarjeta, la diferencia entre 4x, 8x y 16x es insignificante, pero repartir el modelo entre tres GPU reduce la velocidad entre 1,6 y 2,2 veces. Qwen3.8-27B (Q8) ofrece 68,55 tokens por segundo con una tarjeta y 42,95 con tres, con un contexto de 50K. Para trabajar con comodidad, es suficiente. El autor considera que el mínimo razonable son dos tarjetas gráficas idénticas y que la plataforma LGA4710 es una buena opción con margen de crecimiento, pero advierte del sobrecalentamiento de las tarjetas convencionales con ventiladores axiales en placas con separación de dos slots.

Conclusión práctica: deja que el agente prepare los datos para el ajuste, pero conserva al menos dos o tres variantes de la escala del adaptador y comprueba IFEval antes y después. Para el conocimiento del mundo siguen haciendo falta memoria y búsqueda, no LoRA.