# DeepSpeed

[DeepSpeed](https://github.com/deepspeedai/DeepSpeed) 基于 Zero Redundancy Optimizer (ZeRO) 技术，是一个用于在 GPU 上训练和拟合超大模型的优化库。它提供多个 ZeRO 阶段，每个阶段通过分区优化器状态、梯度和参数，并支持将数据卸载到 CPU 或 NVMe，从而逐步节省更多 GPU 内存。DeepSpeed 已与 [Trainer](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer) 类集成，大部分配置工作会自动为您处理。

不过，如果您想在不使用 [Trainer](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer) 的情况下使用 DeepSpeed，Transformers 提供了一个 `HfDeepSpeedConfig` 类。

有关使用 DeepSpeed 与 [Trainer](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer) 的更多信息，请参阅 [DeepSpeed](../deepspeed) 指南。

## HfDeepSpeedConfig[[transformers.integrations.HfDeepSpeedConfig]]

#### transformers.integrations.HfDeepSpeedConfig[[transformers.integrations.HfDeepSpeedConfig]]

```python
transformers.integrations.HfDeepSpeedConfig(config_file_or_dict)
```

[来源](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/deepspeed.py#L60)

**参数：**

config_file_or_dict (`Union[str, Dict]`) : DeepSpeed 配置文件的路径或字典。

该对象包含一个 DeepSpeed 配置字典，可以快速查询诸如 zero stage 之类的信息。

该模块的全局变量中存储了此对象的 `weakref`，以便在无法访问 Trainer 对象等组件的区域（例如 `from_pretrained` 和 `_get_resized_embeddings`）中访问配置。因此，在程序运行期间，必须确保此对象保持存活。

[Trainer](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.Trainer) 使用的是 `HfTrainerDeepSpeedConfig` 子类。该子类包含用于将配置与 [TrainingArguments](/docs/transformers/v5.23.0/zh/main_classes/trainer#transformers.TrainingArguments) 的值进行同步的逻辑，方法是替换特殊占位符值 `"auto"`。如果没有这段特殊逻辑，DeepSpeed 配置将不会发生任何更改。

