Что такое Unsloth
Unsloth — открытый проект из Сан-Франциско для обучения и запуска больших языковых моделей. Основное применение — дообучение: вы берёте готовую открытую модель вроде Qwen, Llama или Gemma и доучиваете её на своих примерах, чтобы она переняла стиль, формат ответов или предметную область.
Разработчики обещают обучение примерно вдвое быстрее и с экономией видеопамяти до 70 % без потери точности. За счёт этого небольшие модели можно дообучать даже в бесплатном Google Colab. В документации заявлена поддержка более 500 моделей — от Qwen3.8 и Gemma 4 до DeepSeek-V4 и Kimi K3.
Из чего состоит проект
- библиотека Python — для тех, кто пишет код обучения сам, в ноутбуке или скрипте
- Unsloth Studio — приложение с интерфейсом для обучения, запуска и экспорта моделей без кода (бета)
- готовые ноутбуки для Colab и Kaggle под популярные модели
- квантованные модели на Hugging Face в аккаунте unsloth — GGUF и другие форматы для локального запуска
Почему ищут «unsloth qwen» и «gguf»
Многие встречают Unsloth не через обучение, а на Hugging Face: команда выкладывает сжатые версии свежих моделей — например, Qwen в формате GGUF. Такой файл скачивают и запускают локально в Ollama, LM Studio или llama.cpp, выбирая степень сжатия под память своего компьютера.
Чем сильнее сжатие, тем меньше файл и тем скромнее требования, но и качество ответов немного ниже. Для первого знакомства берите средний вариант и смотрите на размер файла: он должен помещаться в видеопамять или оперативную память с запасом.
С чего начать
Решите, нужно ли дообучение
Если хватает промпта с примерами или базы знаний по документам — обучать не нужно. Подробно — на странице «Дообучение».
Выберите среду
Своя видеокарта NVIDIA, бесплатный Colab или Kaggle, либо Unsloth Studio на компьютере.
Соберите датасет
Пары «запрос — идеальный ответ», от 50–100 хороших примеров для стиля и формата.
Запустите готовый ноутбук
Возьмите ноутбук под нужную модель, подставьте свой датасет, проверьте параметры LoRA.
Проверьте и экспортируйте
Сравните ответы до и после, сохраните модель в GGUF для Ollama или LM Studio.
Сколько стоит
Сам Unsloth бесплатный: основной пакет выпускается под Apache 2.0, интерфейс Studio — под AGPL-3.0. Платите вы только за вычисления, если не хватает бесплатного Colab или своей видеокарты. Документация и интерфейс — на английском, но модели можно дообучать на русских данных: Qwen и Gemma хорошо понимают русский.
Частые ошибки на старте
Почти все эти ошибки видны ещё до запуска обучения. Потратьте время на датасет и план проверки — это решает больше, чем любые параметры.
- обучать, когда хватило бы промпта с несколькими примерами
- брать слишком большую модель под бесплатную T4
- смешивать в датасете разные форматы ответов
- не оставлять отдельный набор вопросов для проверки
- ставить слишком много эпох — модель заучивает примеры и хуже отвечает на новые
Когда быстрее через ИИ-агента
Главный барьер Unsloth — порог входа: датасет, параметры, ошибки памяти. ИИ-агент LeanTech берёт на себя подготовку: собирает датасет JSONL из ваших примеров, пишет ноутбук дообучения под бесплатный Colab с объяснением каждой ячейки и план проверки модели — файлами. Работает из России без VPN, оплата картой РФ.
Чего агент не делает: не запускает обучение на своих мощностях, не ставит Unsloth вам на компьютер и не работает внутри Colab или Studio. Картинки — с тарифа Light, видео — только Pro и Power, Veo 3.1 и Seedance 2.5 — только Power.