Hugging Face's logo

Transformers documentation

DeepSpeed

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed

DeepSpeed, yang didukung oleh Zero Redundancy Optimizer (ZeRO), adalah pustaka optimasi untuk melatih dan menyesuaikan model yang sangat besar ke dalam GPU. Pustaka ini tersedia dalam beberapa tahap ZeRO, di mana setiap tahap secara bertahap menghemat lebih banyak memori GPU dengan mempartisi state optimizer, gradien, parameter, serta memungkinkan offloading ke CPU atau NVMe. DeepSpeed terintegrasi dengan kelas Trainer dan sebagian besar pengaturan ditangani secara otomatis untuk Anda.

Namun, jika Anda ingin menggunakan DeepSpeed tanpa Trainer, Transformers menyediakan kelas HfDeepSpeedConfig.

Pelajari lebih lanjut tentang penggunaan DeepSpeed dengan Trainer di panduan DeepSpeed.

HfDeepSpeedConfig

kelas transformers.integrations.HfDeepSpeedConfig

< >

( config_file_or_dict )

Parameter

  • config_file_or_dict (Union[str, Dict]) — path ke file konfigurasi DeepSpeed atau dict.

Objek ini berisi kamus konfigurasi DeepSpeed dan dapat dengan cepat ditanyakan untuk hal-hal seperti tahap zero.

Sebuah weakref dari objek ini disimpan di global modul agar konfigurasi dapat diakses dari area di mana hal-hal seperti objek Trainer tidak tersedia (misalnya from_pretrained dan _get_resized_embeddings). Oleh karena itu, penting bahwa objek ini tetap hidup selama program masih berjalan.

Trainer menggunakan subclass HfTrainerDeepSpeedConfig sebagai gantinya. Subclass tersebut memiliki logika untuk menyinkronkan konfigurasi dengan nilai dari TrainingArguments dengan mengganti nilai placeholder khusus: "auto". Tanpa logika khusus ini, konfigurasi DeepSpeed tidak diubah sama sekali.

Update on GitHub

←Trainer ExecuTorch→