Transformers documentation
AWQ
AWQ
激活感知权重量化（AWQ）通过保留对大语言模型性能至关重要的少量权重，将模型压缩至 4 位，同时最大限度地减少性能下降。
有多个库可用于使用 AWQ 算法对模型进行量化，例如 llm-awq、autoawq 或 optimum-intel。Transformers 支持加载使用 llm-awq 和 autoawq 库量化的模型。本指南将演示如何加载使用 autoawq 量化的模型，但加载 llm-awq 量化模型的过程与此类似。
运行以下命令以安装 autoawq
pip install autoawq
AutoAWQ 会将 Transformers 降级到 4.47.1 版本。如果您想使用 AutoAWQ 进行推理，安装 AutoAWQ 后可能需要重新安装您的 Transformers 版本。
通过检查模型的 config.json 文件中的 quant_method 键，可以识别出 AWQ 量化模型。
{
"_name_or_path": "/workspace/process/huggingfaceh4_zephyr-7b-alpha/source",
"architectures": [
"MistralForCausalLM"
],
...
...
...
"quantization_config": {
"quant_method": "awq",
"zero_point": true,
"group_size": 128,
"bits": 4,
"version": "gemm"
}
}使用 from_pretrained() 加载 AWQ 量化模型。出于性能考虑，默认情况下会自动将其他权重设置为 fp16。使用 dtype 参数可以以其他格式加载这些权重。
如果模型加载在 CPU 上，请使用 device_map 参数将其移至加速器。
from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator
import torch
device = Accelerator().device
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/zephyr-7B-alpha-AWQ",
dtype=torch.float32,
device_map=device
)使用 attn_implementation 启用 FlashAttention2 以进一步加速推理。
from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/zephyr-7B-alpha-AWQ",
attn_implementation="flash_attention_2",
device_map=Accelerator().device
)融合模块
融合模块可提供更高的精度和性能。对于 Llama 和 Mistral 架构的 AWQ 模块，开箱即用地支持融合；对于不支持的架构，您也可以手动融合其 AWQ 模块。
融合模块无法与其他优化技术（如 FlashAttention2）结合使用。
创建一个 AwqConfig，并设置参数 fuse_max_seq_len 和 do_fuse=True 以启用融合模块。fuse_max_seq_len 参数表示总序列长度，应包含上下文长度和预期的生成长度。为安全起见，请将其设置为较大的值。
以下示例将 TheBloke/Mistral-7B-OpenOrca-AWQ 模型的 AWQ 模块进行融合。
import torch
from transformers import AwqConfig, AutoModelForCausalLM
quantization_config = AwqConfig(
bits=4,
fuse_max_seq_len=512,
do_fuse=True,
)
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/Mistral-7B-OpenOrca-AWQ",
quantization_config=quantization_config
).to(0)TheBloke/Mistral-7B-OpenOrca-AWQ 模型在 batch_size=1 的设置下，分别使用和不使用融合模块进行了基准测试。
| 批处理大小 | 预填充长度 | 解码长度 | 预填充令牌/秒 | 解码令牌/秒 | 内存（VRAM） |
|---|---|---|---|---|---|
| 1 | 32 | 32 | 60.0984 | 38.4537 | 4.50 GB (5.68%) |
| 1 | 64 | 64 | 1333.67 | 31.6604 | 4.50 GB (5.68%) |
| 1 | 128 | 128 | 2434.06 | 31.6272 | 4.50 GB (5.68%) |
| 1 | 256 | 256 | 3072.26 | 38.1731 | 4.50 GB (5.68%) |
| 1 | 512 | 512 | 3184.74 | 31.6819 | 4.59 GB (5.80%) |
| 1 | 1024 | 1024 | 3148.18 | 36.8031 | 4.81 GB (6.07%) |
| 1 | 2048 | 2048 | 2927.33 | 35.2676 | 5.73 GB (7.23%) |
| 批处理大小 | 预填充长度 | 解码长度 | 预填充令牌/秒 | 解码令牌/秒 | 内存（VRAM） |
|---|---|---|---|---|---|
| 1 | 32 | 32 | 81.4899 | 80.2569 | 4.00 GB (5.05%) |
| 1 | 64 | 64 | 1756.1 | 106.26 | 4.00 GB (5.05%) |
| 1 | 128 | 128 | 2479.32 | 105.631 | 4.00 GB (5.06%) |
| 1 | 256 | 256 | 1813.6 | 85.7485 | 4.01 GB (5.06%) |
| 1 | 512 | 512 | 2848.9 | 97.701 | 4.11 GB (5.19%) |
| 1 | 1024 | 1024 | 3044.35 | 87.7323 | 4.41 GB (5.57%) |
| 1 | 2048 | 2048 | 2715.11 | 89.4709 | 5.57 GB (7.04%) |
融合模块和非融合模块的速度与吞吐量也使用 optimum-benchmark 库进行了测试。
对于不支持融合模块的架构，请创建一个 AwqConfig，并在 modules_to_fuse 中定义自定义的融合映射，以确定哪些模块需要被融合。
以下示例将 TheBloke/Yi-34B-AWQ 模型的 AWQ 模块进行融合。
import torch
from transformers import AwqConfig, AutoModelForCausalLM
quantization_config = AwqConfig(
bits=4,
fuse_max_seq_len=512,
modules_to_fuse={
"attention": ["q_proj", "k_proj", "v_proj", "o_proj"],
"layernorm": ["ln1", "ln2", "norm"],
"mlp": ["gate_proj", "up_proj", "down_proj"],
"use_alibi": False,
"num_attention_heads": 56,
"num_key_value_heads": 8,
"hidden_size": 7168
}
)
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/Yi-34B-AWQ",
quantization_config=quantization_config
).to(0)参数 modules_to_fuse 应包含以下键。
"attention"：要融合的注意力层名称，按以下顺序排列：query、key、value 和 output 投影层。如果不想融合这些层，请传入一个空列表。"layernorm"：要替换为自定义融合 LayerNorm 的所有 LayerNorm 层的名称。如果不想融合这些层，请传入一个空列表。"mlp"：要融合为单个 MLP 层的 MLP 层名称，顺序为：（gate（dense, layer, post-attention）/ up / down 层）。"use_alibi"：如果您的模型使用 ALiBi 位置嵌入。"num_attention_heads"：注意力头的数量。"num_key_value_heads"：用于实现 Grouped Query Attention (GQA) 的 key value heads 数量。参数值 attention num_key_value_heads=num_attention_heads多头注意力 num_key_value_heads=1多查询注意力 num_key_value_heads=...分组查询注意力 "hidden_size"：隐藏表示的维度。
ExLlamaV2
ExLlamaV2 内核支持更快的预填充和解码。运行以下命令以安装支持 ExLlamaV2 的最新版本 autoawq。
pip install git+https://github.com/casper-hansen/AutoAWQ.git
在 AwqConfig 中设置 version="exllama" 以启用 ExLlamaV2 内核。
ExLlamaV2 支持 AMD GPU。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig
quantization_config = AwqConfig(version="exllama")
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/Mistral-7B-Instruct-v0.1-AWQ",
quantization_config=quantization_config,
device_map="auto",
)资源
运行 AWQ 演示 notebook，以获取更多关于如何量化模型、将量化后的模型推送到 Hub 等的示例。
Update on GitHub