Как устроено дообучение языковой модели на своих данных: что такое LoRA и QLoRA, сколько нужно примеров, как выглядит датасет, какие параметры менять и в каких случаях дообучение проигрывает промпту и базе знаний.
Регистрация занимает меньше минуты. Без VPN, оплата картой РФ, старт без карты.
Реклама · 18+ · старт без карты
Дообучение (fine-tuning) — продолжение обучения готовой модели на ваших примерах, чтобы она переняла стиль, формат или предметную область. Полное дообучение меняет все веса и требует памяти в разы больше самой модели; LoRA обучает маленькие «адаптеры» поверх замороженной модели, QLoRA делает то же на модели, сжатой до 4 бит. Именно поэтому 7–8-миллиардную модель можно дообучить на одной бесплатной T4.
Unsloth ускоряет этот процесс примерно вдвое и экономит память за счёт переписанных ядер, а результат — адаптер LoRA или объединённая модель — совместим с обычным стеком Hugging Face, Ollama и LM Studio.
| Промпт с примерами | База знаний (RAG) | Дообучение (LoRA) | |
|---|---|---|---|
| Что решает | формат, роль, правила | ответы по вашим документам | стиль, навык, устойчивый формат |
| Данных | 3–10 примеров | документы | 50–500+ пар; лучше 1 000 |
| Стоимость | 0 | минуты | часы GPU |
| Обновить знания | поменять текст | добавить документ | переобучать |
| Начинать с | всегда | если вопросы по документам | если первые два не дали результата |
JSONL с полями instruction / input / output или в формате чата. Чистые, разнообразные примеры важнее количества.
Qwen, Llama или Gemma подходящего размера; для русского — Qwen или Gemma.
Ранг r 16–64, alpha равен рангу или вдвое больше, learning rate около 2e-4, 1–3 эпохи.
Ноутбук в Colab: 20–60 минут на тысяче примеров на T4.
Те же вопросы до и после; отдельный набор, которого модель не видела.
Объединить адаптер с моделью и сохранить в GGUF — для Ollama и LM Studio.
ИИ-агент LeanTech сначала спросит, чего вы хотите от модели и что у вас есть, и честно скажет, какой из трёх способов подходит. Если дообучение — соберёт датасет JSONL из ваших переписок, документов или таблицы, напишет ноутбук Unsloth под бесплатный Colab с параметрами под размер данных, добавит проверку до и после и объяснит каждую ячейку. Всё — файлами.
Для стиля и формата — от 50–100 хороших пар, для предметной области — от нескольких сотен; качество и разнообразие важнее количества.
Да: Qwen и Gemma хорошо понимают русский, датасет пишется по-русски.
Для QLoRA на модели до 8 миллиардов параметров и датасете в несколько тысяч примеров — да, на одной T4.
ИИ-агент LeanTech принимает задачу словами, читает ваши файлы и отдаёт готовый результат файлом — без VPN и с оплатой картой РФ.
Поставить задачу агенту →