Файнтюнинг (дообучение)

Файнтюнинг — это дообучение готовой AI-модели на небольшом наборе данных под конкретную задачу. Вместо обучения модели с нуля вы адаптируете существующую под свой домен, стиль или формат ответов.

Файнтюнинг берёт фундаментальную модель, которая уже понимает язык, и продолжает её обучение на узком наборе данных — обычно от сотен до десятков тысяч примеров нужных вам входов и выходов. Веса модели сдвигаются в сторону вашей задачи: юридические формулировки, медицинское кодирование, тон бренда или строгий формат ответа вроде JSON.

Лучше всего он работает, когда нужно стабильное поведение, а не свежие знания. Учить модель новым фактам через файнтюнинг дорого и ненадёжно — факты устаревают, а галлюцинации остаются. А вот стиль, формат или политику принятия решений модель усваивает хорошо: эти паттерны повторяются в обучающих примерах.

На практике команды сравнивают три варианта: промпт-инжиниринг (дешевле всего, без обучения), RAG (свежие и приватные знания) и файнтюнинг (стабильное поведение и меньшая цена запроса — длинные инструкции переезжают из промпта в веса). Экономные методы вроде LoRA делают файнтюнинг доступным даже на одной видеокарте.