Hub documentation
Hugging Face'te PEFT Kullanımı
Hugging Face'te PEFT Kullanımı
🤗 Parameter-Efficient Fine-Tuning (PEFT), modelin tüm parametrelerini ince ayar yapmadan, önceden eğitilmiş dil modellerini çeşitli aşağı akış uygulamalarına verimli bir şekilde uyarlamak için kullanılan bir kütüphanedir.
Hub'da PEFT'yi Keşfetme
PEFT modellerini modeller sayfasının solundaki filtreleme özelliğini kullanarak bulabilirsiniz.
Kurulum
Başlamak için PEFT belgelerindeki Hızlı Tur'a göz atabilirsiniz. Yüklemek için PEFT kurulum kılavuzunu izleyin. Ayrıca pip üzerinden aşağıdaki tek satırlık kurulumu da kullanabilirsiniz:
$ pip install peftMevcut modelleri kullanma
Tüm PEFT modelleri Hub'dan yüklenebilir. Bir PEFT modelini kullanmak için, aşağıda gösterildiği gibi, ince ayarı yapılan temel modeli de yüklemeniz gerekir. Her ince ayarı yapılmış modelin model kartında temel model yer alır.
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel, PeftConfig
base_model = "mistralai/Mistral-7B-v0.1"
adapter_model = "dfurman/Mistral-7B-Instruct-v0.2"
model = AutoModelForCausalLM.from_pretrained(base_model)
model = PeftModel.from_pretrained(model, adapter_model)
tokenizer = AutoTokenizer.from_pretrained(base_model)
model = model.to("cuda")
model.eval()Yüklendikten sonra, girdilerinizi hazırlamak için tokenizer'a iletebilir ve transformers tarzında model.generate() çağrısını yapabilirsiniz.
inputs = tokenizer("Tell me the recipe for chocolate chip cookie", return_tensors="pt")
with torch.no_grad():
outputs = model.generate(input_ids=inputs["input_ids"].to("cuda"), max_new_tokens=10)
print(tokenizer.batch_decode(outputs.detach().cpu().numpy(), skip_special_tokens=True)[0])Aşağıdakileri çıktılar:
Tell me the recipe for chocolate chip cookie dough. 1. Preheat oven to 375 degrees F (190 degrees C). 2. In a large bowl, cream together 1/2 cup (1 stick) of butter or margarine, 1/2 cup granulated sugar, and 1/2 cup packed brown sugar. 3. Beat in 1 egg and 1 teaspoon vanilla extract. 4. Mix in 1 1/4 cups all-purpose flour. 5. Stir in 1/2 teaspoon baking soda and 1/2 teaspoon salt. 6. Fold in 3/4 cup semisweet chocolate chips. 7. Drop by
Belirli bir PEFT modelini yüklemek istiyorsanız, model kartındaki Use in PEFT bağlantısına tıklayabilir ve size çalışan bir kod parçası sunulur!
