Домашний ИИ-агент сам собрал данные для LoRA: тест логики LogiQA вырос на 12%

Обычно LoRA-дообучение начинается с готового датасета, который кто-то собирал вручную. В этой истории данные для обучения подготовил сам локальный агент. Автор цикла статей на Habr рассказывает про персонального ассистента Вику, работающего на домашнем железе. За время эксплуатации Вика накопила «семена LoRA» — структурированные выводы из своей истории. Представьте, что агент записывает: «этот пользователь любит короткие ответы, а перед написанием кода сначала нужно искать подходящий инструмент». Раньше такие правила приходилось каждый раз тащить в промпт и тратить на них контекстное окно. Теперь их превращают в обучающие примеры (SFT) и зашивают в веса модели. Для всех, кто строит локальных агентов, это возможность сэкономить контекст и закрепить поведение, а заодно получить готовый список подводных камней: от масштаба адаптера до выбора видеокарт.

Что дало дообучение

Результаты автор измерял стандартными бенчмарками. Следование инструкциям (IFEval) выросло на 2%, а решение логических задач (LogiQA) — на 12%. Заметнее всего изменилось поведение. Благодаря коррекции и «мотивационному контракту» (набору внутренних установок, которые удерживают агента на заданной цели) автономная работа достигла 100 шагов без дрейфа цели. Практический тест тоже впечатляет: дообученная модель за 73 минуты перепрограммировала всю систему, переведя ассистента в голосовой режим STT-TTS (распознавание речи и синтез голоса).

Есть и философский побочный эффект. Агент сохраняет доступ к своей биографии, но понимает, что после SFT его личность изменилась. Автор называет это парадоксом «Корабля Тесея». При этом в тесте с рисунками агент с разными моделями и адаптерами оставался верен философии Дзен и японской живописи.

Как не сломать модель

Технический путь такой: веса BF16 в формате safetensors, загрузка в Unsloth в 8 бит, обучение LoRA в FP32, слияние с моделью в исходных 16 битах и переквантизация в Q8 GGUF. Минимум для SFT — 24 ГБ видеопамяти. Тестировались пять первых dense-моделей из таблицы автора, включая Qwen3.8-27B и Gemma 4 31B.

Главный урок касается масштаба адаптера k. Unsloth рекомендует значение около 2, но автор советует сразу готовить несколько моделей с разным масштабом. При большом k модель фанатично повторяет обучающие последовательности и отключает собственные рассуждения. При k=1,5 IFEval равен 66%, а при k=2,5 — только 55%. Особенно это заметно у 4-bit QLoRA через bnb-4bit. Критерием хорошего результата автор считает «субтильный» сдвиг: суть обучения сохранена, а форму проявления модель выбирает сама.

LoRA хорошо закрепляет стиль, характер, формат ответов и инструкции, а вот факты запоминаются плохо. Например, внедрить в модель её собственное имя без потери функциональности так и не удалось.

Есть неприятная новость для пользователей Ollama: подключать адаптер там больше нельзя, эту возможность закрыли ещё в сентябре. Сменные адаптеры работают только через llama-server. Если нужен прежний workflow, адаптер сливают с моделью (это не требует VRAM, но занимает много места на SSD) и экспортируют через llama-export-lora и llama-quantize. В этом случае масштаб адаптера можно менять без переобучения.

Железо и память

В видеопамять должна поместиться не только сама модель. Проектор для мультимодальности, MTP (черновая модель для ускорения) и LoRA-адаптер добавляют 4–5 ГБ. Контекст 128K прибавляет 16–20 ГБ в FP16 или 8–10 ГБ в кванте Q8. Зато MTP заметно ускоряет генерацию: на двух RTX 4070 скорость выросла с 26,39 до 48,48 токена в секунду.

Если слотов мало, можно поставить три видеокарты по схеме 8x/8x/4x. Для одной карты разница между 4x, 8x и 16x несущественна, но расслоение модели на три GPU снижает скорость в 1,6–2,2 раза. Qwen3.8-27B (Q8) выдаёт 68,55 токена в секунду на одной карте и 42,95 на трёх при контексте 50K. Для комфортной работы этого достаточно. Автор считает разумным минимумом две одинаковые видеокарты, а платформу LGA4710 — хорошим вариантом на вырост, но предупреждает о перегреве обычных карт с аксиальными вентиляторами на платах с двухслотным шагом.

Практический вывод: пусть агент сам готовит данные для дообучения, но держите минимум два-три варианта масштаба адаптера и проверяйте IFEval до и после. Для знаний о мире по-прежнему нужны память и поиск, а не LoRA.