Lớp Auto-HF exporter chịu trách nhiệm tự động khởi tạo thành HfExporter phù hợp dựa trên ExportConfig được cung cấp.

exporter = AutoHfExporter.from_pretrained("org/model-name")
program = exporter.export(model, inputs)

Lớp cấu hình xuất Auto-HF chịu trách nhiệm tự động chuyển hướng đến cấu hình xuất chính xác dựa trên cấu hình xuất được lưu trong một từ điển.

Lớp trừu tượng cơ sở cho tất cả các trình xuất của Transformers.

Tạo lớp con và triển khai ~HfExporter.export để thêm một backend xuất mới.

Trình xuất chuyển đổi PreTrainedModel thành ExportedProgram.

>>> from transformers.exporters.exporter_dynamo import DynamoExporter, DynamoConfig

>>> exporter = DynamoExporter()
>>> exported = exporter.export(model, inputs, config=DynamoConfig(dynamic=True))
>>> outputs = exported.module()(**inputs)

Trình xuất chuyển đổi PreTrainedModel thành ONNXProgram của ONNX.

>>> from transformers.exporters.exporter_onnx import OnnxExporter, OnnxConfig

>>> exporter = OnnxExporter()
>>> onnx_program = exporter.export(model, inputs, config=OnnxConfig(dynamic=True))
>>> outputs = onnx_program(**inputs)  # run in-memory
>>> exporter.export(model, inputs, config=OnnxConfig(output_path="model.onnx"))  # save to disk

Trình xuất chuyển đổi PreTrainedModel thành ExecutorchProgramManager của ExecuTorch.

>>> from transformers.exporters.exporter_executorch import ExecutorchExporter, ExecutorchConfig

>>> exporter = ExecutorchExporter()
>>> et_program = exporter.export(model, inputs, config=ExecutorchConfig(backend="xnnpack"))
>>> et_program.write_to_file("model.pte")

Lớp cấu hình để xuất mô hình thông qua torch.export.

Lớp cấu hình để xuất mô hình sang ONNX thông qua torch.onnx.export.

Kế thừa tất cả các trường từ DynamoConfig (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Lớp cấu hình để xuất mô hình sang định dạng ExecuTorch.

Kế thừa tất cả các trường từ DynamoConfig (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Lớp cấu hình để xuất mô hình sang OpenVINO IR thông qua openvino.convert_model.

Kế thừa tất cả các trường từ [DynamoConfig] (dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards).

Lớp cơ sở cho các bộ lượng tử hóa sau huấn luyện được áp dụng trong quá trình xuất.

Bộ lượng tử hóa khai báo các định dạng xuất mà nó hỗ trợ và các gói cần thiết (kèm theo các phiên bản đã được kiểm thử, tương tự như các bộ xuất) cũng như việc nó lượng tử hóa đồ thị FX của torch.export trước bất kỳ bước chuyển đổi nào (để mọi backend đều nhận kết quả) hay lượng tử hóa mô hình mà một backend chuyển đổi nó thành (onnx_ir.Model, openvino.Model). Bộ xuất xác thực nó với quá trình xuất ngay từ đầu, sau đó gọi ~ExportQuantizer.quantize với mô hình đó và các đầu vào mẫu của quá trình xuất. Hãy kế thừa lớp này và triển khai quantize để thêm một phương pháp lượng tử hóa mới; một CalibrationSet ánh xạ các mẫu hiệu chuẩn sang các đầu vào của chính mô hình.

Xem lại có thể lặp lại các mẫu hiệu chuẩn dưới dạng đầu vào của mô hình.

Các mẫu là calibration_dataset của bộ lượng tử hóa, hoặc chính sample_inputs của bản xuất (kèm một cảnh báo, một lần duy nhất khi chúng được đọc) nếu không có bộ lượng tử hóa. Chúng có thể là bất kỳ ánh xạ nào, chẳng hạn như BatchEncoding của bộ mã hóa. transform ánh xạ từng mẫu forward-kwarg thành những gì mô hình đã lượng tử hóa nhận vào (các kwargs được theo dõi, các feed ONNX, các feed cổng OpenVINO), một cách lười biếng, từng mẫu một, trong mỗi lượt chạy.

Thực hiện lượng hóa đồ thị FX bằng lượng hóa PyTorch 2 Export (PT2E): prepare_pt2e chèn các observer, tập hiệu chuẩn điều khiển chúng, và convert_pt2e thay thế chúng bằng các toán tử quantize/dequantize. Hoạt động với mọi backend xuất.

>>> from torchao.quantization.pt2e.quantizer.x86_inductor_quantizer import (
...     X86InductorQuantizer,
...     get_default_x86_inductor_quantization_config,
... )
>>> from transformers.exporters import DynamoConfig, PT2EQuantizer

>>> x86 = X86InductorQuantizer().set_global(get_default_x86_inductor_quantization_config())
>>> DynamoConfig(quantizer=PT2EQuantizer(x86, calibration_dataset=samples))

Lượng tử hóa mô hình ONNX đã chuyển đổi bằng các công cụ riêng của ONNX Runtime (onnxruntime.quantization): quantize_static với OnnxRuntimeStaticConfig (mặc định), hoặc quantize_dynamic với OnnxRuntimeDynamicConfig.

>>> from transformers.exporters import (
...     OnnxConfig,
...     OnnxRuntimeDynamicConfig,
...     OnnxRuntimeQuantizer,
...     OnnxRuntimeStaticConfig,
... )

>>> static = OnnxRuntimeStaticConfig(per_channel=True)
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(static, calibration_dataset=samples))
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(OnnxRuntimeDynamicConfig()))

Các tham số của onnxruntime.quantization.quantize_static: kích hoạt và trọng số int8 (mặc định là QDQ), được hiệu chuẩn trên calibration_dataset của bộ lượng tử hóa. Một trường được đặt thành None sẽ giữ nguyên giá trị mặc định của ONNX Runtime. Xem quantize_static cho từng tham số.

Các tham số của onnxruntime.quantization.quantize_dynamic: trọng số int8, kích hoạt được lượng tử hóa khi chạy, không hiệu chuẩn. Một trường được đặt thành None sẽ giữ nguyên giá trị mặc định của ONNX Runtime. Xem quantize_dynamic cho từng tham số.

Thực hiện lượng tử hóa mô hình OpenVINO đã chuyển đổi bằng NNCF: nncf.quantize với NNCFQuantizationConfig (mặc định), hoặc nncf.compress_weights với NNCFWeightCompressionConfig.

>>> import nncf
>>> from transformers.exporters import NNCFOpenVINOQuantizer, NNCFWeightCompressionConfig, OpenVINOConfig

>>> OpenVINOConfig(quantizer=NNCFOpenVINOQuantizer(calibration_dataset=samples))
>>> OpenVINOConfig(
...     quantizer=NNCFOpenVINOQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM))
... )

Thực hiện lượng tử hóa mô hình ONNX đã chuyển đổi bằng NNCF thông qua backend ONNX của nó: nncf.quantize với NNCFQuantizationConfig (mặc định, int8 QDQ), hoặc nncf.compress_weights với NNCFWeightCompressionConfig (int4 dưới dạng MatMulNBits của ONNX Runtime).

>>> import nncf
>>> from transformers.exporters import NNCFOnnxQuantizer, NNCFWeightCompressionConfig, OnnxConfig

>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(calibration_dataset=samples))
>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM)))

Lượng tử hóa đồ thị FX của torch.export bằng NNCF thông qua backend TorchFX của nó: nncf.quantize với NNCFQuantizationConfig (mặc định, các op quantize/dequantize), hoặc nncf.compress_weights với NNCFWeightCompressionConfig. Giống như PT2EQuantizer, nó chạy trước bất kỳ bước chuyển đổi nào, nên mọi backend đều nhận kết quả của nó. ExecuTorch chỉ hạ thấp kết quả weight-only: XNNPACK không ủy quyền cho các op quantize/dequantize, và ExecuTorch không có kernel cho chúng.

>>> from transformers.exporters import DynamoConfig, NNCFTorchFXQuantizer

>>> DynamoConfig(quantizer=NNCFTorchFXQuantizer(calibration_dataset=samples))

Các tham số của nncf.quantize: kích hoạt và trọng số int8, được hiệu chuẩn trên calibration_dataset của bộ lượng tử hóa. Một trường được đặt thành None sẽ giữ nguyên giá trị mặc định của NNCF, ngoại trừ model_type, có giá trị mặc định là nncf.ModelType.TRANSFORMER. Xem nncf.quantize cho từng tham số.

Các tham số của nncf.compress_weights: int8 hoặc int4 chỉ cho trọng số, với các phương pháp nhận thức dữ liệu (AWQ, ước lượng tỷ lệ, GPTQ) cho các chế độ int4. Các chế độ int8 không cần dữ liệu; các chế độ khác hiệu chuẩn trên calibration_dataset của bộ lượng tử hóa. gptq và lora_correction chỉ dành cho OpenVINO. Một trường được đặt thành None sẽ giữ nguyên giá trị mặc định của NNCF. Xem nncf.compress_weights cho từng tham số.

Lấy đệ quy tất cả các tensor lá từ một cấu trúc có thể lồng nhau.

Cấu hình model và inputs để xuất. Thay đổi cả model và inputs tại chỗ, trả về (model, inputs, output_flags) trong đó output_flags chứa các giá trị đã được lấy ra từ inputs cho use_cache, return_dict, v.v. (để được áp dụng một cách có thể đảo ngược lên model.config bởi patch_model_config trong quá trình trace).

• Loại bỏ các đầu vào nhãn (labels, future_values) — không hỗ trợ tính toán loss.
• Lấy các cờ đầu ra (use_cache, return_dict, …) ra khỏi inputs để chúng không xuất hiện dưới dạng kwargs được theo dõi; các giá trị này được trả về để khối trace áp dụng lên model.config.
• Tiền xử lý các tham số kwargs của thị giác/âm thanh phụ thuộc vào dữ liệu đã được đăng ký thông qua @register_export_input_preparer và ghi chúng vào inputs.
• Chuyển đổi các tensor đầu vào để khớp với dtype / device của mô hình.

Chạy model.generate() và ghi nhận các đầu vào của prefill và decode.

Tái sử dụng toàn bộ cơ chế sinh để mọi kiến trúc (chỉ có decoder, SSM, encoder-decoder, đa phương thức, …) đều nhận được các đầu vào chính xác mà không cần cài đặt lại vòng lặp.

generation_config được chuyển tiếp đến generate() (mặc định là cấu hình của chính model), do đó các đầu vào được ghi lại sẽ sử dụng bất kỳ cache nào mà generate() sẽ xây dựng. Truyền một cấu hình có cache_implementation="static" và max_cache_len=N để ghi lại một cache có kích thước tĩnh trong các đầu vào decode — nền tảng cho việc xuất (export) cache tĩnh. max_cache_len xác định kích thước cache độc lập với quá trình ghi lại, nên bản decode được xuất sẽ nhận một cache cố định [..., N, ...] thay vì một cache tăng dần.

Khi multi_token_decode, thành phần decode được bắt giữ dưới dạng multi-token decode — hai bước decode liên tiếp được gộp lại (xem _merge_decode_calls) để trục query-sequence của nó vẫn ở dạng biểu tượng (một bước decode single-token sẽ đặc biệt hóa trục đó thành 1). Sau đó, nó xử lý cả trường hợp một token (giải mã thông thường) và nhiều token (tiếp nối từ quá khứ, hoặc prefill thông thường khi cache trống). Ngược lại, decode là bước decode single-token cổ điển.

Thu thập đầu vào cho từng mô-đun con đa phương thức thông qua một lần truyền tiến duy nhất.

Phát hiện tất cả các module con đa phương thức đã biết theo tên thuộc tính (vision tower, projector, language model, lm_head, …) và ghi lại các tham số kwargs của forward trong một lần gọi model(**inputs).

Mỗi submodule được trả về dưới dạng một mục name: (module, inputs) riêng biệt để xuất độc lập. Bước hợp nhất token (ví dụ masked_scatter cho các model đa phương thức) được cố ý giữ bên ngoài các đồ thị đã xuất — trách nhiệm của người gọi là lắp ráp inputs_embeds từ đầu ra của encoder trước khi chạy decoder.

Phân tách một mô hình sinh thành thành các cặp (model, forward_inputs) có thể xuất độc lập.

Chạy decompose_prefill_decode để thu thập các kwargs của forward cho prefill và decode từ một model.generate(**inputs, max_new_tokens=2) thực tế. Nếu prefill là đa phương thức (theo is_multimodal), nó sẽ tách thêm thành một mục cho mỗi submodule (encoder thị giác/âm thanh, projector, mô hình ngôn ngữ, lm_head) thông qua decompose_multimodal.

Trả về True nếu mô hình là đa phương thức với các bộ mã hóa phương thức và một mô hình ngôn ngữ.

Một mô hình không phải là PreTrainedModel (ví dụ: một nn.Module thuần túy) không có các bộ truy cập chuẩn get_encoder/get_decoder và rõ ràng không phải là đa phương thức, do đó nó sẽ trả về False ngay lập tức.