Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Hugging Face'te MLX Kullanımı

MLX, Apple Machine Learning Research tarafından Apple silikonu için geliştirilen bir model eğitimi ve sunum çerçevesidir.

Çeşitli örneklerle birlikte gelir:

MLX-LM ile metin oluşturma ve GGUF biçimindeki modeller için MLX-LM ile metin oluşturma.
Büyük ölçekli metin üretimi LLaMA ile.
LoRA ile ince ayar.
Stable Diffusion ile görüntü oluşturma.
OpenAI’nin Whisper’ı ile konuşma tanıma.

Hub'da MLX'i Keşfetme

MLX modellerini modeller sayfasının sol tarafındaki filtreleme özelliğini kullanarak bulabilirsiniz. Ayrıca, MLX formatı için ağırlıkları dönüştürüp yayımlayan katkıcıların oluşturduğu açık bir MLX topluluğu da bulunmaktadır.

MLX Hugging Face Hub entegrasyonu sayesinde, MLX modellerini birkaç satır kodla yükleyebilirsiniz.

Kurulum

MLX bağımsız bir paket olarak gelir ve Büyük Dil Modelleri için Hugging Face entegrasyonuna sahip MLX-LM adında bir alt paketi vardır. MLX-LM'yi yüklemek için pip üzerinden aşağıdaki tek satırlık kurulumu kullanabilirsiniz:

pip install mlx-lm

Daha fazla bilgiyi buradan edinebilirsiniz.

mlx-lm kurarsanız, mlx kurmanıza gerek yoktur. mlx-lm kullanmak istemiyor, yalnızca MLX kullanmak istiyorsanız, MLX'yi aşağıdaki gibi kendiniz kurabilirsiniz.

pip ile:

pip install mlx

conda ile:

conda install -c conda-forge mlx

Mevcut Modelleri Kullanma

MLX-LM, metin üretmek için kullanışlı yardımcılar sunar. Aşağıdaki satır, modeli doğrudan indirip yükler ve metin üretmeye başlar.

python -m mlx_lm.generate --model mistralai/Mistral-7B-Instruct-v0.2 --prompt "hello"

Tüm üretim seçeneklerinin listesi için, çalıştırın

python -m mlx_lm.generate --help

Aşağıdaki gibi Python üzerinden bir model yükleyip metin üretmeye başlayabilirsiniz:

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-Instruct-v0.2")

response = generate(model, tokenizer, prompt="hello", verbose=True)

MLX-LM; LLaMA, Phi-2, Mistral ve Qwen dahil olmak üzere popüler LLM mimarilerini destekler. Desteklenenlerden farklı modeller aşağıdaki gibi kolayca indirilebilir:

HF_XET_HIGH_PERFORMANCE=1 ayarlandığında, yüksek bant genişliğine ve en az 64 GB RAM'e sahip makinelerde eşzamanlılık sınırları ve tampon boyutları artırılır:

pip install -U huggingface_hub

export HF_XET_HIGH_PERFORMANCE=1
hf download --local-dir <LOCAL FOLDER PATH> <USER_ID>/<MODEL_NAME>

Modelleri Dönüştürme ve Paylaşma

Hugging Face Hub'daki LLM'leri aşağıdaki gibi dönüştürebilir ve isteğe bağlı olarak kuantize edebilirsiniz:

python -m mlx_lm.convert --hf-path mistralai/Mistral-7B-v0.1 -q

Dönüştürme işleminden sonra modeli doğrudan göndermek istiyorsanız, aşağıdaki gibi yapabilirsiniz.

python -m mlx_lm.convert \
    --hf-path mistralai/Mistral-7B-v0.1 \
    -q \
    --upload-repo <USER_ID>/<MODEL_NAME>

Ek Kaynaklar

Update on GitHub

←mlx-image OpenCLIP→