Использование моделей ИИ локально

Вы можете запускать модели ИИ из Hub локально на своём компьютере. Это позволяет воспользоваться следующими преимуществами:

• Конфиденциальность: Вы не отправляете свои данные на удалённый сервер.
• Скорость: Ограничивающим фактором является ваше оборудование, а не сервер или скорость соединения.
• Управление: Вы можете настраивать модели по своему усмотрению.
• Стоимость: вы можете запускать модели локально, не оплачивая услуги API-провайдера.

Как использовать локальные приложения

Локальные приложения — это приложения, которые могут запускать модели Hugging Face непосредственно на вашем устройстве. Для начала:

1. Включите локальные приложения в настройках локальных приложений.

2. Выберите поддерживаемую модель на Hub, найдя её через поиск. Вы можете отфильтровать по приложению в группе Apps в разделе Other панели фильтров, например модели, совместимые с llama.cpp:

3. Выберите локальное приложение из выпадающего списка «Use this model» на странице модели.

4. Скопируйте и выполните предоставленную команду в терминале.

Поддерживаемые локальные приложения

Список поддерживаемых локальных приложений приведён в разделе Настройки локальных приложений.

На странице модели выпадающий список «Use this model» отображает приложение только в том случае, если модель с ним совместима (например, модель в формате GGUF для llama.cpp или Ollama).

Следующие приложения в настоящее время доступны на Hub:

Приложение	Сайт	Совместимые модели
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF, MLX
Янв	jan.ai	GGUF
Atomic Chat	atomic.chat	GGUF, MLX
Unsloth Desktop	unsloth.ai/docs	GGUF, модели Unsloth
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Модели генерации текста, GGUF, AWQ, GPTQ и модели image-text-to-text
SGLang	docs.sglang.io	Модели Transformers, AWQ, GPTQ для генерации текста и модели image-text-to-text
MLX LM	github.com/ml-explore/mlx-lm	Модели генерации текста MLX
Диспетчер моделей Docker	docs.docker.com/ai/model-runner	GGUF, модели, совместимые с vLLM
Lemonade	lemonade-server.ai	GGUF, модели AMD Ryzen AI
Pi	github.com/earendil-works/pi	Чат-модели GGUF и MLX с вызовом инструментов
Агент Hermes	hermes-agent.nousresearch.com	Чат-модели GGUF и MLX с вызовом инструментов
OpenClaw	github.com/openclaw/openclaw	Чат-модели GGUF и MLX с вызовом инструментов
Draw Things	drawthings.ai	Текст-в-изображение модели и LoRA в Diffusers
DiffusionBee	diffusionbee.com	Текст-в-изображение модели Diffusers
JoyFusion	joyfusion.app	Модели Core ML для генерации изображений по тексту с тегом joyfusion

👨‍💻 Чтобы использовать эти локальные приложения, скопируйте фрагменты кода из карточки модели, как показано выше.

👷 Если вы разрабатываете локальное приложение, вы можете узнать об интеграции с Hub в этом руководстве.

Llama

Llama — это нативное приложение для macOS и Windows, предназначенное для локального запуска моделей в формате GGUF.

Преимущества:

• Лёгкое нативное приложение, размещаемое в строке меню или панели задач
• Установка моделей GGUF из Hub в один клик
• Локальный, приватный чат с установленными моделями
• Получите рекомендуемые модели для вашего компьютера
• Легко интегрируется с агентами, такими как Pi, Hermes, OpenClaw

To use Llama, navigate to the model card of a GGUF model and click “Use this model”. Llama will open and guide you through installing the model.

Llama в настоящее время доступна как для macOS, так и для Windows.

Llama.cpp

Llama.cpp — это высокопроизводительная библиотека на C/C++ для локального запуска LLM с оптимизированным выводом на широком спектре аппаратных платформ, включая CPU, CUDA и Metal.

Преимущества:

• Очень высокая производительность для моделей на базе CPU на нескольких семействах CPU
• Низкое потребление ресурсов
• Несколько вариантов интерфейса (CLI, OpenAI-совместимый сервер с веб-интерфейсом)
• Оптимизировано для CPU и GPU

Чтобы использовать Llama.cpp, перейдите на карточку модели, нажмите «Use this model» и скопируйте команду. Приведённый фрагмент охватывает установку llama.cpp (скрипт установки для macOS и Linux, WinGet для Windows или сборка из исходного кода) и запуск модели:

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

Ознакомьтесь с нашей специальной страницей документации llama.cpp + HF.

LM Studio

Ознакомьтесь с нашей специальной страницей документации LM Studio

LM Studio — это настольное приложение, которое предоставляет простой способ загрузки, запуска и экспериментов с локальными LLM.

Преимущества:

• Интуитивно понятный графический интерфейс
• Встроенный браузер моделей
• Инструменты и API для разработчиков
• Бесплатно для личного и коммерческого использования

Перейдите на страницу модели (model card) для модели в формате GGUF или MLX и нажмите «Use this model». Приложение LM Studio откроется, и вы сможете начать общение через его интерфейс.

Янв

Jan — это альтернатива ChatGPT с открытым исходным кодом, которая работает полностью в автономном режиме и имеет удобный интерфейс.

Преимущества:

• Пользовательский графический интерфейс
• Чат с документами и файлами
• Сервер API, совместимый с OpenAI, что позволяет запускать модели и использовать их из других приложений

Чтобы использовать Jan, перейдите на страницу модели (model card) модели в формате GGUF и нажмите «Use this model». Jan откроется, и вы сможете начать общение через интерфейс.

Атомарный чат

Atomic Chat — это настольное приложение для чата, предназначенное для запуска локальных моделей.

Преимущества:

• Графический интерфейс чата
• Поддерживает модели в форматах GGUF и MLX

Чтобы использовать Atomic Chat, перейдите на страницу модели (model card) для модели в формате GGUF или MLX и нажмите «Use this model». Atomic Chat откроется с готовой к загрузке моделью.

Unsloth Desktop

Unsloth Desktop — это настольное приложение от Unsloth для запуска локальных моделей.

Преимущества:

• Графический интерфейс
• Работает с моделями в формате GGUF и моделями из экосистемы Unsloth

Чтобы использовать Unsloth Desktop, перейдите на страницу модели (model card) с форматом GGUF или Unsloth и нажмите «Use this model». Unsloth Desktop откроет модель, включая файл GGUF, если вы выбрали его из списка файлов модели.

Ollama

Ollama — это приложение, позволяющее запускать большие языковые модели локально на вашем компьютере с помощью простого интерфейса командной строки. Оно доступно для моделей в формате GGUF.

Преимущества:

• Простая установка и настройка
• Прямая интеграция с Hugging Face Hub

Чтобы использовать Ollama, перейдите на страницу модели и нажмите «Use this model», затем скопируйте команду.

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM — это высокопроизводительный движок инференса и обслуживания для LLM с сервером API, совместимым с OpenAI.

Преимущества:

• Высокая пропускная способность, оптимизировано для GPU
• Поддерживает модели Transformers, GGUF и квантованные (AWQ, GPTQ)
• Сервер API, совместимый с OpenAI

vLLM доступен для моделей генерации текста и моделей image-text-to-text. Перейдите на карточку модели, нажмите «Использовать эту модель» и скопируйте команды:

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

Фрагмент также показывает, как запустить модель с помощью Docker Model Runner.

SGLang

SGLang — это быстрый фреймворк для обслуживания LLM и мультимодальных моделей «зрение-язык».

Преимущества:

• Высокопроизводительное обслуживание на GPU
• Поддерживает Transformers и квантованные (AWQ, GPTQ) модели
• Сервер API, совместимый с OpenAI

SGLang доступен для моделей генерации текста и моделей image-text-to-text. Перейдите на карточку модели, нажмите «Использовать эту модель» и скопируйте команды:

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

Сервер предоставляет OpenAI-совместимый API на порту 30000. В фрагменте также приведена команда Docker с использованием образа lmsysorg/sglang.

MLX LM

MLX LM запускает LLM на Apple silicon с использованием фреймворка MLX от Apple.

Преимущества:

• Оптимизировано для Apple silicon
• Интерактивный чат и генерация текста из командной строки
• Сервер, совместимый с OpenAI

MLX LM доступен для моделей генерации текста на базе MLX. Перейдите на страницу модели, нажмите «Использовать эту модель» и скопируйте команды:

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker Model Runner

Docker Model Runner позволяет загружать и запускать модели с помощью CLI Docker.

Преимущества:

• Использует привычные инструменты Docker
• Поддерживает модели GGUF и модели, совместимые с vLLM

Перейдите на страницу модели, нажмите «Use this model» и скопируйте команду:

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Lemonade

Lemonade — это локальный LLM-сервер, оптимизированный для оборудования AMD.

Преимущества:

• Поддержка моделей GGUF
• Запускает модели, созданные для AMD Ryzen AI NPU (модели с тегами ryzenai-npu или ryzenai-hybrid)

После загрузки Lemonade перейдите на страницу модели, нажмите «Use this model» и скопируйте команды:

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi — это агент для написания кода, работающий в вашем терминале.

Pi доступен для чат-моделей в форматах GGUF и MLX, чей шаблон чата поддерживает вызов инструментов. Приведённый фрагмент кода сначала запускает локальный сервер, совместимый с OpenAI (llama serve для моделей GGUF, mlx_lm.server для моделей MLX), а затем настраивает Pi для его использования:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Agent

Hermes Agent — это ИИ-агент от Nous Research, который может работать с локальными моделями.

Hermes Agent доступен для чат-моделей в форматах GGUF и MLX, чей шаблон чата поддерживает вызов инструментов. Приведённый фрагмент кода сначала запускает локальный сервер, совместимый с OpenAI (llama serve для моделей GGUF, mlx_lm.server для моделей MLX), а затем настраивает Hermes Agent на его использование:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw — это персональный ИИ-агент с открытым исходным кодом, который может работать с локальными моделями.

OpenClaw доступен для чат-моделей в форматах GGUF и MLX, чей шаблон чата поддерживает вызов инструментов. Приведённый фрагмент кода сначала запускает локальный сервер, совместимый с OpenAI (llama serve для моделей GGUF, mlx_lm.server для моделей MLX), а затем настраивает OpenClaw на его использование:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things — это приложение для локальной генерации изображений на устройствах Apple.

Преимущества:

• Запускает модели text-to-image полностью на устройстве
• Можно импортировать как базовые модели, так и LoRA

Чтобы использовать Draw Things, перейдите на страницу модели (model card) модели text-to-image из библиотеки Diffusers или LoRA и нажмите «Use this model». Приложение Draw Things откроется и импортирует модель.

Draw Things доступен только на macOS.

DiffusionBee

DiffusionBee — это настольное приложение для локальной генерации изображений с помощью моделей Stable Diffusion.

Преимущества:

• Простой графический интерфейс
• Не требуется настройка или командная строка

Чтобы использовать DiffusionBee, перейдите на страницу модели (model card) текстово-изображательной модели из Diffusers и нажмите «Use this model». DiffusionBee откроется и импортирует модель.

DiffusionBee доступен только на macOS.

JoyFusion

JoyFusion — это приложение для локальной генерации изображений с использованием моделей Core ML на устройствах Apple.

To use JoyFusion, navigate to the model card of a Core ML text-to-image model tagged joyfusion and click “Use this model”. JoyFusion will open and import the model.

JoyFusion доступен только на macOS.