# HQQ

[半二次量化（HQQ）](https://github.com/mobiusml/hqq/)支持对 8、4、3、2 甚至 1 位进行快速的即时量化。它无需校准数据，并且兼容任何模型模态（LLM、视觉等）。

HQQ 还支持使用 [PEFT](https://huggingface.co/docs/peft) 进行微调，并且与 [torch.compile](https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) 完全兼容，可实现更快的推理和训练速度。

使用以下命令安装 HQQ，以获取最新版本，并在您使用 cuda 设备时构建其对应的 CUDA 内核。它还支持 Intel XPU，采用纯 PyTorch 实现。

```bash
pip install hqq
```

您可以选择使用相同的量化配置替换模型中的所有线性层，或者为特定的线性层指定特定的量化配置。

通过创建一个 [HqqConfig](/docs/transformers/v5.23.0/zh/main_classes/quantization#transformers.HqqConfig) 并指定 `nbits` 和 `group_size`，对模型的所有线性层（[torch.nn.Linear](https://pytorch.org/docs/stable/generated/torch.nn.Linear.html)）进行替换，从而量化该模型。

``` py
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, HqqConfig

quant_config = HqqConfig(nbits=8, group_size=64)
model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B", 
    dtype=torch.float16, 
    device_map="auto", 
    quantization_config=quant_config
)
```

通过创建一个字典来量化模型，该字典指定了要量化的线性层的 `nbits` 和 `group_size`。将它们传递给 [HqqConfig](/docs/transformers/v5.23.0/zh/main_classes/quantization#transformers.HqqConfig)，并使用该配置设置要量化的层。这种方法对于量化混合专家模型（MoE）特别有用，因为它们受较低量化设置的影响较小。

``` py
q4_config = {'nbits':4, 'group_size':64}
q3_config = {'nbits':3, 'group_size':32}
quant_config  = HqqConfig(dynamic_config={
  'self_attn.q_proj':q4_config,
  'self_attn.k_proj':q4_config,
  'self_attn.v_proj':q4_config,
  'self_attn.o_proj':q4_config,

  'mlp.gate_proj':q3_config,
  'mlp.up_proj'  :q3_config,
  'mlp.down_proj':q3_config,
})

model = transformers.AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B", 
    dtype=torch.float16, 
    device_map="auto", 
    quantization_config=quant_config
)
```

## 后端

HQQ 支持多种后端，包括纯 PyTorch 和自定义反量化 CUDA 内核。这些后端适用于较旧的 GPU 以及 PEFT/QLoRA 训练。

```py
from hqq.core.quantize import *

HQQLinear.set_backend(HQQBackend.PYTORCH)
```

为了获得更快的推理速度，HQQ 支持在模型量化后使用 4 位融合内核（torchao 和 Marlin）。在单张 4090 上，这些内核的速度最高可达 200 tokens/sec。下面的示例演示了如何启用 torchao_int4 后端。

```py
from hqq.utils.patching import prepare_for_inference

prepare_for_inference("model", backend="torchao_int4")
```

有关更多详细信息，请参阅 [Backend](https://github.com/mobiusml/hqq/#backend) 指南。

## 资源

阅读 [大型机器学习模型的半二次量化](https://mobiusml.github.io/hqq_blog/) 博客文章，了解更多关于 HQQ 的详细信息。

