--- title: 'Unsloth Studio is insane… fine-tune any AI model locally' source: 'https://youtube.com/watch?v=BFH9D05UFvM' video_id: 'BFH9D05UFvM' date: 2026-09-10 duration_sec: 1976 channel: 'David Ondrej' --- # Unsloth Studio is insane… fine-tune any AI model locally > Source: [Unsloth Studio is insane… fine-tune any AI model locally](https://youtube.com/watch?v=BFH9D05UFvM) ## Summary This video introduces Unsloth Studio, an open-source tool that simplifies fine-tuning large language models locally. It demonstrates how to select a model, choose or create a dataset, and run the fine-tuning process on your own hardware, making AI customization accessible to everyone. ### Key Points - **Introduction to Unsloth Studio** [00:28] — Unsloth Studio is an open-source tool that simplifies fine-tuning LLMs, offering pre-optimized models and dataset creation features. - **Installation and Setup** [01:52] — Install Unsloth Studio via terminal command, then access it at localhost:8888. - **Selecting a Model** [04:25] — Choose a model like Qwen 3.6 27B, which is optimized for local use with dynamic quantization. - **Understanding GGUF vs Safe Tensors** [08:55] — GGUF is a compressed format for inference, while safe tensors is the full version needed for fine-tuning. - **Choosing a Dataset** [11:11] — Use datasets from Hugging Face, like Finance Alpaca with 68,000 examples, to fine-tune for specific domains. - **Configuring Training Parameters** [14:08] — Adjust hyperparameters like batch size and context length to fit your hardware and speed up training. - **Running Fine-Tuning** [15:47] — Run the training locally, monitoring loss to ensure the model is learning. - **Creating Custom Datasets** [20:10] — Use the 'Recipes' tab to create custom datasets from a single PDF, using a larger model to generate question-answer pairs. - **Using API Providers** [22:51] — Set up an API provider like OpenRouter to use a powerful model for dataset generation, then run a full generation. - **Training with Custom Data** [31:08] — Once the dataset is ready, use it to train your model locally, achieving a custom AI model unique to your data. ## Transcript небольшим моделям LLM превосходить по производительности модели в 100 раз большего размера, создавать нецензурированные модели ИИ, отвечающие на любые вопросы или запросы, сводить затраты на API практически к нулю и создавать мощную модель для вашего бизнеса. Однако до этого момента проблемами. Во-первых, создание собственного набора данных оказалось очень сложным и трудоемким процессом . И, во-вторых, весь процесс тонкой настройки было сложно выполнить локально на собственном компьютере. К счастью, появился новый проект с открытым исходным кодом, который решает обе эти проблемы. Итак, в этом видео я объясню, что такое тонкая настройка и почему она важна. Я также покажу вам, как обучить собственную модель ИИ локально на вашем компьютере, и даже проведу вас через этапы создания собственного набора данных для тонкой настройки. Поэтому, если вы всерьез интересуетесь конца. Итак, инструмент с открытым исходным кодом, о котором я упоминал ранее, — это Unsloth Studio. Это, безусловно, самый простой способ тонкой настройки LLM, и с помощью Unsloth Studio буквально на своем собственном, полностью в автономном режиме. Его создали которые раньше сами исправляли ошибки в Llama и Qwen . Кстати, я обратился и они согласились. Огромная им благодарность. Теперь позвольте мне показать вам, как размещу ссылку под видео. Это будет первое звено. А здесь нажмите на кнопку «Быстрый старт». Здесь вы автоматически прокрутите страницу вниз, где для разных операционных систем. Я просто скопирую терминал. Вы можете использовать CMux или свой стандартный терминал в Mac OS. Это не имеет Хорошо. И я собираюсь вставить эту команду прямо сюда. Это позволит необходимые для неё зависимости. И еще раз хочу это подчеркнуть. Это полностью открытый исходный код, и его использование абсолютно бесплатно. не только точно настраивать модели ИИ, но и создавать собственные наборы данных для тонкой настройки моделей на собственном компьютере совершенно бесплатно. Это невероятно. Итак, вот оно. Unloth Studio установлен. Мы просто делаем Y и вводим. Итак, как и написано, запускаем Unsloth Studio на localhost 8888. Просто откройте браузер и введите localhost двоеточие 8888, и вы увидите, что мы находимся в студии, верно? Итак, здесь нам нужно понять несколько вещей . Во-первых, мы можем пообщаться с моделями искусственного интеллекта скачали, как видите, у меня их несколько. Например, Unsloth Gwen 3.6 27B, очень хорошая модель. На самом деле, это одна из самых мощных моделей, которую можно запустить локально на MacBook. вы сможете с ней общаться, верно? Таким образом, Unsloth — это не только инструмент для поиска тонкой настройки, но и своего рода конкурент Ollama и LM Studio, моделями прямо внутри Unsloth, что просто невероятно. Итак, модель загружена, и мы можем задать тестовый вопрос, например: "Кто ты?" работает полностью локально на моём MacBook. У меня 128 ГБ оперативной памяти, так что, вероятно, 27B не будет работать так быстро. Но опять же, это не просто хочу сказать, что это огромный плюс — возможность общаться с магистрами права (LLM) на местном уровне, хорошо? Но давайте снова сосредоточимся на тонкой настройке. Итак, слева у нас несколько вкладок. У нас есть вкладка "Поезд". Это главное для вкладка с рецептами. Вот так мы можем создавать верно? Они называют это рецептами, чтобы сделать это немного понятнее для людей, проще, чем когда-либо. Так что, если вы в прошлом году занимались тонкой настройкой и сложно. Это слишком трудно». Ребята, сейчас как никогда легко дорабатывать никогда ещё не было так просто создать собственный уникальный набор данных для тонкой настройки, а затем использовать его для обучения новой модели и получить [прокашливается] полную модель, верно? собственных точно настроенных моделей — это по-прежнему огромная задача, которую большинство людей не умеют видео вы приобретете навыки, которых просто нет у 99,9% специалистов в области ИИ и нажмем на «поезд». Ах да, и ещё кое- первом открытии вы можете увидеть поле для ввода логина и пароля. Это просто люди, находящиеся в той же сети Wi-Fi, не могли получить к нему доступ, верно? Итак, вы просто вводите какой-нибудь пароль, но это на самом деле не настоящая учетная запись в интернете. повторюсь, мы работаем на локальном сервере, поэтому кто-то, находящийся в той же сети Wi-Fi, теоретически может получить к нему доступ. Так что, да, просто введите какой-нибудь пароль в первый раз вкладку "Поезда". Здесь нам нужно выбрать, какую модель обучать и на каком наборе данных. Итак, сначала я покажу вам, как обучить модель, как выполнить её тонкую настройку, а затем покажу, как создать собственный набор данных для тонкой настройки. Итак, давайте разберем это шаг за шагом. И опять же, для покажу вам всё в простой и понятной пошаговой инструкции. В 2026 году любой желающий я собираюсь доказать это вам прямо сейчас. Первое, что нам нужно сделать, увидеть этот тип модели прямо здесь. И у нас есть два варианта: выбрать местную модель или модель с обнимающим лицом. Итак, если у вас ничего не загружено и что-нибудь выберем. Итак, просто введите в Google «Hugging Face», и это, по сути, что-то вроде GitHub, но для моделей ИИ, для наборов данных — всё, что вам нужно, когда речь идёт о Итак, когда мы попадаем на главную страницу, там отображаются модели, наборы данных, пространства и всё в этом роде . Итак, кликните на раздел «Модели», и вы увидите множество различных моделей — более 2,9 миллионов, почти 3 миллиона различных моделей с открытым исходным кодом на Hugging Face. Итак, у Unsloth есть своя собственная платформа, поэтому мы можем использовать Unsloth, и они будут повторно загружать различные версии популярных моделей ИИ, таких как Qwen, Llama, Gemma, верно? Итак, Gemma разработана компанией Google. Llama разработана компанией Meta. Qwen разработан компанией Alibaba. Компания Unsloth не производит эти модели. Они отлаживают их, тонкой настройки и для вывода результатов. И кстати, если вы не уверены, какую модель ИИ выбрать или что можно запустить локально на собственном оборудовании, есть отличный сайт под названием Artificial Analysis. У них есть раздел с открытым исходным кодом, ссылку на который видео. Если прокрутить страницу вниз, можно увидеть все модели с открытым исходным кодом, большие модели, большинства из вас, вероятно, наиболее подходящей категорией будут небольшие модели. Как подходящей категорией будут небольшие модели. Как видите, Qwen 3.6 27B — лучшая модель по Qwen 3.6, особенно плотная модель 27B, является лучшей среди моделей такого размера, от 4 до 40 миллиардов. Итак, вернувшись к Hugging Face, мы можем поискать различные варианты Qwen 3.6. Итак, давайте перейдем к {slash} Qwen 3.6, чтобы увидеть все версии Unsloth. А нам нужен именно чистый, 27B. Вот и всё . Qwen 3.6 27B. Вот тот, который нам нужен. Теперь важно моделями, потому что, повторюсь, мы используем не исходную версию с Alibaba. Мы хотим использовать версию Qwen 3.6 от Unsloth. Итак, сначала они исправляют реальные ошибки в моделях. Таким образом, они работают напрямую с командами Google, Meta, Alibaba, Mistral, командами, которые создают эти модели с открытым исходным кодом , – и исправляют ошибки после официального релиза. Unsloth также добавляет динамическое квантование версии 2.0. Таким образом, слоев, они динамически регулируют тип квантования каждого слоя, используя пользовательскую схему для каждой модели. Это позволяет значительно уменьшить размер модели, сохранив при этом точность. Проще говоря, это позволяет запускать гораздо более мощную отлично подходит для нас, поскольку мы хотим запускать её локально. Итак, мы знаем, что будем использовать Qwen 3.6. Итак, внутри Unsloth Studio, куда мы переходим по этой ссылке, Unsloth Studio, куда мы переходим по этой ссылке, введите Unsloth {слэш} Qwen И снова выберите вариант, который представляет собой чистый 27B без MLX, без GGUF, ничего подобного. Нам нужна версия безопасных тензоров по умолчанию, которая здесь и представлена вставить эту строку отсюда, если не хотите вводить её вручную и хотите убедиться, что у вас правильная модель. Что касается метода, то лучше придерживаться QLoRA. Он очень хорошо оптимизирован для локального оборудования. И второе, что нам нужно, прежде чем мы сможем начать тонкую настройку этой модели, — это набор данных. Итак, повторюсь, Qwen 3.6 27B — это уже самолете, вы можете задавать ему вопросы практически о чем угодно, и он даст вам 85% того, что дали бы ChatGPT или Claude . Очевидно, что она не так мощна, как Opus или GPT 5.5, но это очень и очень производительная модель, которую можно полностью запустить локально, если у вас есть как минимум 32 ГБ видеопамяти. Но она не доведена до совершенства. Это стандартный вариант. У всех один и тот же. Итак, если вы хотите доработать его, чтобы сделать его менее ограниченным, улучшить его работу в финансовой сфере, в программировании или в работе с собственным набором данных, я покажу вам, как это сделать. Итак, для начала нам нужно тонкой настройке этой модели. И кстати, всё из этого видео, все пресеты, названия моделей, наборы данных, всё, что я упомянул, будет собрано в один пакет по второй ссылке под видео. Вы можете получить его совершенно бесплатно. Поэтому, когда вы видите, как я, например, копирую название модели или запускаю команду в терминале, всё это доступно бесплатно по второй ссылке под видео. Так что идите и заберите это прямо сейчас. Обратите внимание, я упомянул, что нам нужна версия этой модели с безопасными тензорами, а не GGUF. Позвольте мне объяснить, что означает даже GGUF, потому что большинство людей понятия не имеют, что это за термин, но вы будете часто его слышать, когда начнете запускать локальные модели или изучать тонкую настройку и все такое, верно? Таким образом, GGUF — это, по сути, сжатый формат. Это сжатая, готовая к запуску версия модели искусственного интеллекта, упакованная в один файл, что позволяет ей быстро работать на обычном компьютере. Это объяснение простым и понятным языком. Можно представить это как архивный файл с моделью искусственного интеллекта. Оно его обработать. Но загвоздка в том, что он уменьшен для запуска, для вывода результатов, а не для обучения. Итак, если вы хотите обучить, то есть доработать модель, вам нужна полная несжатая версия, то есть версия с безопасными тензорами, которая сейчас открыта у нас в Hugging Face понять, прежде чем приступать к тонкой настройке моделей, это файл llama.cpp. Это тесно связано с GGML. GGML фактически построен на основе llama.cpp и является популярным фреймворком для вывода логического вывода в C++. На самом деле, оба произведения создал один и тот же человек почему они так естественно и хорошо сочетаются друг с другом . А файл llama.cpp запускает только GGML. Все остальные форматы необходимо сначала преобразовать в GGML. Теперь поговорим о Георгии Герганове. Итак, это тот самый человек, который создал файл llama.cpp, благодаря которому любой может запускать модели лам на обычном ноутбуке. Потому что, как вы помните, два года назад Llama всё ещё была на переднем крае моделей с открытым исходным кодом. Сейчас Meta несколько компании, как Qwen, Kimiko, DeepSeek, гораздо лучше разбираются в искусственном интеллекте с открытым исходным кодом. Но тогда, в старые добрые 2024 год, это был llama llama 3. Это локальных моделей искусственного интеллекта. Таким образом, его цель была проста: использовать мощные модели на потребительском оборудовании, таком как Llama 3 70B. Вы можете запустить её на потребительской видеокарте, вашем MacBook. Это не имеет значения. Вам ведь не нужно было арендовать H100 в облаке за сотни долларов в месяц, верно? В уже имеющемся у вас оборудовании. И, собственно, в феврале 2026 года его команда присоединилась к Hugging Face. Таким образом, все компоненты моделей на месте. Теперь следующим шагом в настройке параметров является выбор самое важное решение. После выбора модели, возможно, это Выбор набора данных, правильного набора данных, чрезвычайно важен, понятно? Итак, потому что у них есть наборы данных. Итак, мы можем вернуться назад, щелкнуть по наборам данных, и увидим, что существует более 1 миллиона Возможно, вы сейчас снова подумаете: Смотрите, это простая инструкция, нажмите на вторую ссылку под видео. Эм, здесь это объяснено . Но для этой демонстрации я выберу набор финансовых данных, чтобы наш Qwen 3.6 27B мог лучше отвечать на финансовые вопросы. Опять же, выберите тот вариант, который подходит именно управляете юридической компанией, юридической фирмой, ну , чем угодно. Вы вводите в поиск «право» и различных наборов данных о праве от разных компаний, из разных разной структурой, разным количеством загрузок, разными размерами кодом, создать мощную модель кодирования, очевидно, существует гораздо больше наборов данных о коде. Но на сайте Hugging Face собрано более 1 миллиона различных наборов данных . Ещё раз чуть позже я покажу вам, как создать собственный набор данных, если вы как использовать его с одним из этих наборов данных. Я выберу набор данных Finance Alpaca, который содержит почти 69 000 строк именно в таком формате. У вас есть Иногда требуется дополнительный ввод данных. Например, если мы щелкнем по этой строке, вы увидите инструкцию: « Какие мошеннические схемы можно провернуть при покупке автомобиля с беспроцентным кредитом по сравнению со скидкой?» И в результате получается подробный ответ на эту тему, верно? И таких примеров более 68 000. Таким образом, при использовании подобного набора данных модель, в данном случае Qwen 3.6, станет действительно очень хорошо справляться с задачами такого типа. Именно в этом, дамы и господа, заключается сила тонкой настройки. Вы предоставляете ей отличные примеры, и модель изучит эти примеры и станет действительно очень хороша в этой конкретной . Теперь существуют различные типы наборов данных для тонкой настройки. Сначала идет инструкция, вопросы и ответы, чаще всего используется один поворот. Также доступны диалоги в многоходовом режиме. Здесь есть эксперт в предметной области, использование инструментов, цепочка рассуждений, вызовы функций и тому подобное. Каждая фигура которая соответствует вашей цели. Если вы не уверены, просто воспользуйтесь методом вопросов и ответов, это самый простой и классический вариант, все модели обучались именно на нем. причина, по которой я выбрал набор финансовых данных, заключается в том, что это очень реальный и полезный пример использования. может быть немедленно полезно практически любому, кто интересуется финансами. том же оборудовании, но если задать ей вопрос, связанный с личным доходом, инвестициями или чем-либо в финансовой сфере, то внезапно та же модель, потребляющая то же количество электроэнергии, окажется намного, намного лучше в этой области и покажет гораздо более высокие результаты в финансовых тестах и ​​оценках. Итак, здесь мы можем скопировать имя так же, как мы могли бы скопировать имя модели, мы можем скопировать имя набора данных, вернуться в Unsloth Studio, перейти влево и вставить его сюда. Вот она, финансовая альпака. Нажмите сюда. Как видите, проверка выполняется по набору данных в правом нижнем углу. Поэтому нам нужно подождать несколько секунд. Тем временем мы можем изменить Например, длину контекста можно уменьшить до 1024, что сделает обучение менее ресурсоемким с точки зрения вычислительных ресурсов. Мы также можем перейти к настройкам гиперпараметров обучения и изменить размер пакета на единицу, чтобы сделать запуск программы очень коротким . И опять же, если бы вам нужно было обучать более крупную модель в течение более длительного времени, возможно, имело бы смысл арендовать несколько серверов H100 в облаке все можно делать локально. Вы можете сделать это на своем компьютере, вы можете сделать это на оборудовании, которое у вас уже есть, используя электроэнергию, за которую вы уже и я проведу небольшой эксперимент, чтобы показать вам, как это просто. Возможно, мы даже сможем сократить количество шагов до 20. Очевидно, чем больше шагов, чем дольше вы тренируетесь, тем лучше будут результаты. Но даже с учетом этого, я думаю, мы цель — показать вам путь. Цель — показать вам шаги, необходимые для обучения это для своего собственного случая. Через секунду я покажу вам, как создать свой собственный набор данных. У всех вас есть документы Google Docs , PDF-файлы, CSV-файлы, файлы Excel, экспортированные сообщения WhatsApp, переписки с клиентами. Видео на YouTube, расшифровки телефонных разговоров — у всех нас есть какие-то данные. Вы можете использовать эти данные конфиденциально и безопасно для тонкой настройки пользовательской модели ИИ, чтобы она действительно хорошо подходила для конкретного сценария использования. В этом и заключается именно это я бы посоветовал всем вам делать. Конечно, для первой используйте набор данных из Hugging [фыркает] Face, что-нибудь уже готовое. создавать собственные наборы данных стало проще, чем когда-либо. И я обещаю вам, что к концу этого видео вы все сможете доработать свою настроили параметры и выбрали набор данных, мы можем перейти вправо и нажать кнопку « Начать обучение», и это запустит процесс тонкой настройки полностью локально здесь, момента, верно? Как только начнётся запись текущего заезда, мы сможем кликнуть на него и посмотреть историю заездов. Итак, давайте посмотрим. Здесь также можно переключиться на CMax, чтобы увидеть терминал, прокрутите вниз. Вы видите, что программа работает, Итак, у меня уже есть два важных момента, верно? Во-первых, набор данных. Если у вас не загружен набор данных, Unsloth сначала получит его из Hugging Face. Это не так уж и много, знаете, 40 МБ на 68 000 строк. но ведь сама модель — это самое главное, верно? Итак, я использую Qwen 3.6 27B, и у него 51 ГБ памяти. Таким образом, если у вас мало места на диске или если вы хотите, чтобы устройство работало быстрее, . Например, если мы перейдем сюда, то сможем ввести Unsloth, и вуаля, мы увидим все различные модели Unsloth. У них более 1300 моделей, так что вы точно найдете подходящую по размеру. Если вам нужна мощная модель, выбирайте 122B или 397B, а если поменьше — просто 9 миллиардов моделей. Я думаю, это действительно отличный вариант. Unsloth/Qwen 3.5 9B. Эту программу вы все сможете запустить, если только у вас не 20-летний старый компьютер. Вы И да, это, безусловно, можно версия безопасных тензоров по умолчанию. В общем, вернёмся к Unsloth Studio, и меньше, потому что её размер составляет 9 миллиардов по сравнению с той, над которой я работаю сейчас, — Посмотрите на это. Посмотрите на это. Эм, мы проводим третий этап обучения из двадцати. мы проводим третий этап обучения из двадцати. и я одновременно веду запись, ребята. Так что, если моя камера немного тормозит, помолитесь за мой MacBook. Но, как видите, в видеопамяти еще много свободного места. Мы на третьем этапе из двадцати. Потеря веса в результате тренировок пока не снижается. Это нехорошо. Мы должны начать замечать, что эта тенденция начинает снижаться. На увидеть этот запуск, даже несмотря на то, что он провалился, мы сможем посмотреть, как уменьшается эта функция потерь при обучении с течением времени, а это значит, что модель обучается на этом наборе данных, понятно? Итак, вернемся к текущему этапу и будем надеяться, что потери веса на тренировках начнут снижаться. И вы можете наблюдать за всем процессом прямо здесь, в Unsloth терминал, где вы ранее запускали команду Unsloth, чтобы посмотреть подробные логи. Но, как видите, потери от тренировок снижаются. Я уже слышу свой компьютер, потому что он теперь работает на полную мощность. Таким образом, значение функции потерь при обучении означает, насколько вероятно, что модель предскажет следующий токен на этом наборе данных, верно? насколько хорошо модель усвоила иначе модель не обучается и не совершенствуется. Так что, это займет некоторое время, хотя у меня всего 20 шагов, вероятно, потребуется еще от 20 до 30 минут. Итак, повторюсь, это очень короткий забег, всего 20 шагов. Ладно , теперь потери падают, это прекрасно. Таким образом, очевидно, что это не приведет к какой-либо сверхточной настройке. В идеале я бы запускал этот процесс гораздо дольше, возможно, даже на большем наборе данных. Но я потребуется как минимум пара тысяч примеров, в идеале — не менее 1000 Самое-самое минимальное количество — это около 2300 примеров. Данный набор данных содержит 68 000 записей, чего более чем достаточно для объективности. Но, опять же, для более впечатляющей тонкой настройки выполните более 20 шагов, используйте более широкое контекстное окно, несколько эпох, дайте алгоритму поработать много часов, а не просто сделайте быструю демонстрацию, как я показываю вам сейчас. Однако, небольшое предупреждение: в данный момент в MLX обнаружена ошибка, из оборудовании Apple, например, на чипах M-серии, могут выходить из строя, даже если у вас достаточно оперативной памяти. Как вы могли видеть ранее, у меня оставалось более 80 ГБ видеопамяти. Речь идёт не о распределении ресурсов или чём-то подобном, и это ошибка в MLX. Так что это никак не связано с Onslaught и Hugging Face. Я думаю, более крупные модели, такие как 27B, выходят из строя, возможно, стоит подумать о переходе на, скажем, 9B. процесс обучения происходит быстрее, и для ее работы не требуется столь мощное оборудование. Или, если вам нужен гораздо больший объем производства и крупная модель, просто запустите несколько A100 H100 в облаке. Вероятно, вам придётся потратить пару двести долларов на аренду видеокарт, и вы сможете использовать их в облаке. Но опять же, в этой демонстрации я хочу показать всё локально. Итак, точно настроить модель, выбрав модель, набор данных и некоторые мы перейдем влево, на вкладку «Рецепты». Вот как можно создавать собственные наборы данных для тонкой настройки. Поскольку до сих пор мы доступе на сайте Hugging Face, и это нормально. Повторюсь, это больше, чем 99% людей когда-либо смогут сделать в сфере искусственного интеллекта. Но если вы хотите получить реальное преимущество, вам нужны собственные данные, и вы хотите доработать свой собственный набор данных, чтобы создать уникальную для вас, для вашего бизнеса модель искусственного интеллекта, к которой никто другой не будет иметь доступа. Итак, слева, нажмем на «Рецепты», затем на «Новый рецепт» и начнем с обучающего рецепта. Это несколько предустановленных настроек, которые нам предоставил Onslaught, чтобы упростить задачу, верно? Потому что, если начинать с нуля, это, безусловно, возможно, но это немного сложнее, верно? Итак, просто нажмите «Начать с изучения рецепта». У нас есть множество различных вариантов: преобразование текста в Python, преобразование текста в SQL, проверка качества PDF-документов, извлечение данных из документов с помощью OCR , обходчик GitHub, верно? Таким образом, программа сканирует задачи и запросы на слияние на GitHub и формирует из них обучающие пары. Инструкция по ответам, как и многое другое, очень полезна. Но, на мой взгляд, самый простой вариант — это PDF-документ с вопросами и ответами. Вы предоставляете PDF- документ. Может быть, достаточно одного PDF-файла, и на его основе Это позволит создать собственный набор данных из одного PDF-файла. Это грандиозно. Итак, кликните на это, и у нас будет четыре разных узла и, знаете, три, например, это основные узлы, понятно? Поставщик один, столбец поставщика, структурированный LM и вам всё объясню. Выглядит немного устрашающе, но на самом деле это не так. Первый поставщик услуг — это тот, которого мы хотим использовать. Теперь, если не хотите допускать утечки данных куда-либо, вы можете использовать локальную модель. Вы можете разместить его на сервере Ollama, или даже, например, серверу, или LM Studio, или что-то в этом роде. Любой ресурс, способный локально предоставлять доступ к модели может использовать в качестве конечной точки localhost. Но прелесть тонкой настройки в том, что вы можете использовать более мощную модель и применять полученные результаты, верно? Именно этим, по сути, негласный секрет индустрии искусственного интеллекта . Люди берут Opus, последнюю результатов обучают на ней уменьшенную модель , что приближает её возможности к возможностям Opus. Очевидно, что он никогда не достигнет истинных возможностей и интеллекта Opus, если будет в 100 раз меньше по параметрам, но он сможет приблизиться к ним, верно? Итак, мы хотим использовать большую, мощную модель для создания набора данных, чтобы, по сути, обучить нашу небольшую модель, в данном случае Qwen 3.5 27B, тому, как бы ответила более крупная модель , верно? Так что, это своего рода уловка. Вы делаете модель умнее, показывая, как более крупная модель отреагировала бы на подобный набор данных. Итак, давайте это сделаем. Итак, сначала нам нужно создать конечную точку. Нам нужно указать конечную точку API и ключ API, и я думаю, что проще всего использовать OpenRouter, OpenRouter. Итак, просто вставьте сюда https://openrouter.ai/api/v1. комплекте. Вторая ссылка находится под видео. Так что, если вам нужна команда терминала, название модели, название набора данных или что-то ещё из этого видео, просто скачайте Вторая ссылка находится под видео. Теперь давайте вернемся в Anvil Studio, и нам понадобится ключ API, потому что это API- сервис. Итак, перейдём к OpenRouter. В учетную запись. Это займет около 20 секунд, а затем нужно нажать на кнопку "титры". Пополняйте баланс кредитов, хорошо? Это может быть всего 5 или 10 долларов. Достаточно. Перейдите к ключам API. И нажмите на кнопку «Новый ключ». Я назову это «Тонкая настройка Anvil». Вот и всё, установите кредитный лимит, например, 50 долларов. Давайте нажмем «Создать», затем «Копировать». И пожалуйста, проверьте, подписаны ли вы на наш канал, потому что, согласно данным YouTube Studio, большинство из вас на самом деле не подписаны, а мы так близки к отметке в 400 000 Подписка на YouTube совершенно бесплатна, и это как бы говорит мне: «Эй, вам нравится такой контент, и вы хотите, чтобы я снимал больше подобных видео». Так что, если тонкой настройке или создании наборов данных для тонкой настройки, а также о создании подобного ютуберов даже не осмелились бы прикоснуться, пожалуйста, подпишитесь на канал. на рассылку. Это займет 2 секунды и совершенно бесплатно. Хорошо, я сейчас скопирую этот API-ключ. И я сейчас вернусь в Anvil Studio. Вставьте это в это поле. Нажмите кнопку «Сохранить» в правом верхнем углу. Далее нам нужно перейти в столбец «Поставщик». Итак, с этим покончено. Поставщик услуг настроен. Поставщик _1. Мы используем openrouter/api/v1. Это важно. /v1 в конце, понятно? А затем мы ввели ключ API. Далее нам нужно выбрать модель. Итак, какую модель мы хотим использовать? Мы Это ужасно. Давайте воспользуемся чем-нибудь разумным, например, сонетом 4.6. Конечно , эта модель не такая мощная, как Opus, но она очень хороша. и всё равно отлично подходит для дистилляции, верно? , вставьте это. Кстати, обязательно ознакомьтесь с условиями предоставления услуг Anthropic. Я не даю советов по дистилляции или чему-то подобному. Но OpenAI — это компании, которые обобщают знания всей сети Интернет. Они берут всю литературу, все веб-сайты, весь код из интернета, сводят всё это к модели искусственного интеллекта , а потом жалуются, когда кто-то перерабатывает результаты их модели в небольшие модели с открытым исходным кодом. . Просто, знаете, выберите здесь любую модель, какую захотите. Я рекомендую выбрать что-нибудь мощное. Я считаю, что сонет 4.6 представляет собой прекрасный баланс. Если вы хотите получить лучшее из лучшего, используйте новейшую модель Opus или последнюю модель GPT. Далее, нажмите «ОК», а затем снова нажмите «Сохранить» в правом верхнем углу . Нажмите «Сохранить». Далее мы рассмотрим выходные данные структуры LM. На самом деле, если вы нажмете «Настроить», вы сможете настроить системную подсказку и формат ответа по своему усмотрению. умолчанию. Всё в порядке. Но самое важное — это сам . Всё, что вы сюда загрузите, будет включено в пары «вопрос-ответ» , верно? Таким образом, это может быть стандартная операционная процедура ( СОП) какой-либо компании. Это может быть список в формате CSV, содержащий все звонки, которые ваши сотрудники совершили в ходе продаж. Это может быть список всех платных рекламных объявлений, которые вы запускали, и их результатов, верно? Что бы вы ни хотели уточнить, обязательно предоставьте здесь качественный PDF-файл. Я собираюсь выбрать файл или выполнить настройку. Нажмите «Настроить», а затем нажмите здесь, чтобы выбрать файл. Я скачал файл Nvidia, который представляет собой , и мы собираемся доработать модель, основанную на финансовых показателях Nvidia. Так что, это можно использовать, например, для прогнозирования следующего квартала, для инвестиций, или, частным инвестиционным компаниям или инвесторам, я не знаю. Это всего лишь пример. Повторюсь, вы можете использовать любой тип набора данных, любой тип PDF-файла. Или вам нужен всего есть, тем лучше, понятно? Чем больше страниц в PDF-файле, тем лучше. В общем, загрузите этот PDF-файл, нажмите «Готово» , и всё готово. Затем нам нужно нажать на кнопку « Мы можем провести контрольный запуск, возможно, всего с пятью записями, и мы можем провести здесь тестовый запуск . И всё, программа готова к запуску, так что нажмите « Начать тестовый запуск». И это повлияет на прогресс в беге. Внутри Open Router мы можем перейти к логам и подождать несколько секунд, чтобы увидеть в них упоминание Sonnet 4.6. Ошибка, бла-бла-бла. Возможно, здесь присутствует какая-то энтропийная проблема? просто безумие. Мы получаем повышенное количество ошибок. Итак, давайте выберем, например, вспышку Gemini 3.5. Это новая модель. Давайте выберем это. Бум. Вернитесь в Unstructured Studio. Давайте это изменим. Бум. Закройте это, сохраните. Давайте проверим ещё раз. Начать тестовый запуск. Удивительно, что во время записи этого видео произошла ошибка в вариант. Очень мощная модель. Это не совсем вспышка. Не знаю, почему это называется вспышкой. Для модели с поддержкой Flash это довольно дорого, но это очень компетентная модель от Google. В компетентная модель от Google. В общем, давайте посмотрим, закончилось ли это. Router можно перейти в раздел логов, и там должно отобразиться сообщение "Gemini 3.5 Flash". Проведение этого тестового запуска обошлось нам всего в несколько пенни, и самое главное, что у нас есть готовый набор данных. Очевидно, что из-за небольшого количества строк набор данных недостаточно велик. Это всего лишь тест. Итак, теперь мы можем увидеть выходная структура языкового модуля выглядит следующим образом. Итак, по сути , происходит следующее: программа берет PDF-файл, состоящий из 80 страниц, и разбивает его на разные фрагменты, верно? Поэтому оно меньше по размеру. Не в каждом сообщении содержится полный PDF-файл. Просто нужно разбить это на части. Итак, если у вас 80 страниц, и вы делите их на пять частей, то 80 нужно разделить на пять, верно? Итак, если мы прокрутим вправо, то увидим выходную структуру LM. Вопрос в том, за какой финансовый год, и так далее, была подана эта декларация? И ответ — 25 января. О, 25 января 2026 года. Хорошо. Вот так это выглядит. Если мы прокрутим страницу вниз до включая код города? И ответ именно в этом. Итак, мы дорабатываем модель, который будет использоваться для доработки модели в этом финансовом отчёте Nvidia. Повторюсь, это был тестовый запуск, всего пять рядов. Итак, вернёмся в редактор, полноценный запуск, хорошо? Мы можем назвать его, например, «Финансовые показатели Nvidia за 2026 год», или как-нибудь еще, главное, чтобы это было понятно человеку. И мы можем записать гораздо больше 100 записей. Мы можем обработать даже 1000 записей, хорошо? А затем расширенные настройки запуска, пакетная обработка. Если вы не хотите рисковать и потерпеть неудачу, то, создаст набор данных из 1000 строк, содержащих информацию об этом PDF-файле из финансового отчета Nvidia, верно? Итак, нажмите кнопку «Начать полный запуск». И ты просто позволяешь этому идти своим чередом. Именно поэтому важно выбрать вы выберете Opus, это будет очень дорого, верно? Потому что, повторюсь, нам предстоит сделать 1000 вызовов API к OpenRouter API для создания этого набора данных. самое важное, что вам нужно для тонкой настройки. Поэтому выбирайте модель, которая по- экономичной. Честно говоря, лучшим вариантом, вероятно, был бы DeepSeek. Честно говоря, я первым. DeepSeek V4 Pro — это просто потрясающая модель за свою цену. Да , я использую DeepSeek. Забудьте о сонете. Забудьте о Gemini 1.5 Pro. Используйте DeepSeek V4 Pro. Если хотите ещё дешевле, используйте DeepSeek V4 Flash, хорошо? Это очень дешевая модель, невероятно быстрая, но не такая мощная, как V4 Pro. Поэтому я думаю, что DeepSeek V4 Pro — это хороший вариант по умолчанию для всех вас, кто проходит потому что посмотрите на его стоимость. Удивительно низкая стоимость. Это же почти бесплатно, правда? Китай словно готовит еду. Привет Си Цзиньпину. Безумно высокие цены, и это полностью открытый исходный код. В общем, давайте вернёмся к... ленивцу. Мы это видим. Хорошо, нажмите на " Забеги". Вот как всё это развивается. Мы можем также посмотреть логи, чтобы увидеть, получаем ли мы сотни вызовов API к флэш-памяти Gemini 3.5. К счастью, опять же, я бы определенно рекомендовал Deep Seek V4 мощная модель с открытым исходным кодом на данный момент, и она невероятно дешева. Итак, это то, что вам нужно для создания большого набора данных, верно? Создание этого набора данных может занять несколько минут . В конце концов, это всего 1000 строк, но прелесть в том, что в следующий раз, когда мы будем обучать модель слева, мы сможем использовать собственный набор данных, верно? Итак, мы можем нажать на кнопку «Локальные данные», и здесь мы увидим набор данных. Итак, вместо того, чтобы использовать что-то из Hugging Face, мы будем использовать собственный набор данных, на котором сможем обучать модель, будь то 27B или quant 3.5 9B, неважно. модели, но прелесть в том, что у нас есть собственный набор данных, созданный в Unsloth Studio, прямо здесь, во вкладке «Рецепты», и все это из одного PDF-файла. Надеюсь, вы найдете что-то полезное для себя в жизни или бизнесе, на основе чего сможете создать набор данных, а затем использовать его для обучения собственной модели ИИ, вашей доработанной версии модели ИИ с открытым исходным кодом. просто волшебно, и я искренне рекомендую всем вам это сделать. Ощущение того, что ты управляешь собственной уникальной моделью, которой нет ни у кого другого , довольно сложно описать. И снова, в этом видео я показал вам все этапы. Теперь у вас есть все необходимые инструменты не только для тонкой настройки моделей ИИ, но и для локальной настройки с использованием собственных наборов данных, которые можно легко создать из одного PDF-файла. И ещё раз, Unsloth Studio совершенно бесплатна. Огромное спасибо компании Unsloth потрясающий инструмент. Это полностью открытый исходный код. Использовать его можно бесплатно. Просто иди и возьми это. Это видео. Установите Unsloth Studio и сделайте это прямо сейчас, потому что, знаете, наблюдать полезно, учиться полезно, но то, что действительно важно, то, что и может изменить вашу жизнь, — это действовать. Итак, пересмотрите это видео еще раз, примените все, что я вам показал, и создайте свою собственную, доработанную модель искусственного интеллекта. Как я уже упоминал ранее, все ресурсы, упомянутые в этом видео, находятся по второй ссылке в описании. Скачайте прямо сейчас, . Итак, спасибо за просмотр и желаю вам said, thank you for watching and have a great rest of the week.